我通过中介看中一套房子,先交了5000诚意金,后中介说现在下

我通过中介看中一套房子,先交了5000诚意金,后中介说现在下定金5w可以直接和业主签合同,我们当时只有2w,并和业主的老婆签了合同,没看房产证,中介表示第二天我们交剩下的3万时给我们看房产证,但是第二天,我们才发觉,业主老婆和业主已经离婚,离婚协议是房子给女方,但是没有过户,现在我们想要回2万,但是女方不还