买卖房屋未过户

我于10几年前买过亲属一套房改房，他当时没钱，商量着我就把钱交了，把房子要了，未签订合同，未过户。现在交房的收据和房本都在我手里，我也在实际使用着，人证我也有，证明他当时不要才给我的。现在他告我返还房屋，请问我该怎么做？若是把交房款给我那太少了 当时才花了2万。