离婚协议规定只要我不再婚,房子我就有居住权,但是,房产证上是男方他爹的名字

现在他爹向我要房，说我和前夫的事和他无关，离婚协议又不是他签的字，他的房子他现在要收回。我就想啊，是不是当初这个协议有漏洞啊，我该怎么维权啊，他要是申请强制收回的话，我和女儿住哪啊。。。还有，前夫他从来没给过我抚养费，给他要，-他就说没钱，要么就去法院告他，他名下没有任何财产可以强制执行。我怎么遇到这么一家人，求大家帮助我！