父亲从来没有尽过责任，子女也是要养他的。根据法律规定，成年子女对父母有赡养义务，子女不履行赡养义务的，无劳动能力或生活困难的父母，有权去法院起诉子女支付赡养费等权利。

法律依据

《民法典》第一千零六十七条

父母不履行抚养义务的，未成年子女或者不能独立生活的成年子女，有要求父母给付抚养费的权利。

成年子女不履行赡养义务的，缺乏劳动能力或者生活困难的父母，有要求成年子女给付赡养费的权利。

《老年人权益保障法》第十四条

赡养人应当履行对老年人经济上供养、生活上照料和精神上慰藉的义务，照顾老年人的特殊需要。

赡养人是指老年人的子女以及其他依法负有赡养义务的人。

赡养人的配偶应当协助赡养人履行赡养义务。