以前买别人一套房,因时间不到办不了过户手续,女方收了全款,男方也知道,我该怎么办?

以前买别人一套房,因时间不到办不了过户手续,女方收了全款,男方也知道,(交易时男方不在场)后来他们离了婚,现在找彵们过户,男方却说是女方背着他卖了房子,要收回,我该怎么办?