我和我老公是闪婚,当时他们那边分房,按人头分的拆迁房,所以当时他们让赶紧结婚我现在想要回房子需要怎么办?

你好,我和我老公是闪婚,当时他们那边分房,按人头分的拆迁房,所以当时他们让赶紧结婚,结婚一个月就怀孕了,结果在怀孕坐月子期间就没有管过我,我是做完月子就走的,现在三年了,他们告我要和我离婚,还让我给抚养费,我啥都没用过他家的,按人头分的房也没见,我没去法院,法院判决书下来了,判我们不能离婚,我现在想要回房子需要怎么办