我爸妈离婚了,父亲净身出户儿子女儿归妻子抚养,他负责儿子抚养费离婚协议是这样写的能告他起诉他吗?

你好,我爸妈离婚了,父亲净身出户儿子女儿归妻子抚养,他负责儿子抚养费离婚协议是这样写的,五年了,从来没给过抚养费,没离婚的时候他都没问过孩子的事一人吃饱全家人不饿的那种,现在老家要拆迁了,我父亲耍赖皮说老家拆迁的钱都是他的,要全拿走,没孩子的份,我们要怎么对待这样的父亲,能报警抓他吗?能告他起诉他吗?