我买了我哥的房子,当时只负了定金,也只写了简单的一个收条,现在他要收回,他也用我的名义买了其它的房子

当时在买房子时大家是协商好了的,总价多少钱,一年多后,房子涨价,他要求收回房子,在我买他房子时他也用我的名义另外为他买了一套房子,他用我的名字买的房子我们之间没有任何手续,只是钱都是他拿的,但其它所以签字都是我的字,他要收回协商好卖给我的房子,我该如何处理这件事,(我只想要补尝,不想再要房子了)