我们家现在要拆迁的一套房子,一小部分房屋归属于哥哥,但是他户口在外地不在老家

我们家现在要拆迁的一套房子,一小部分房屋归属于哥哥,但是他户口在外地不在老家,当时私下协商时他跟我说同意拆,只需要给他钱(没有文字及语音证据)后来我跟拆迁办签订协议后,他现在突然变卦说不想拆,现在要跟我打官司。