关于房屋纠纷

我爷爷现有一间小平房,之前我爷爷和爸爸的关系不太好,爷爷脾气有比较倔,不指望我爸爸照顾他,所以他就找邻居帮忙,说照顾他,以后不在了,事情全由邻居代办,只后房子就归属于邻居,并签了张纸条为依据。现由于我爷爷之前摔断腿,住院了,一直都是我们家人照顾的,事后知道我爷爷和邻居做了此协议,均觉得不妥,现在我爷爷想反悔,把房子还是归属于自家人,但是邻居手持协议,不太肯让步,请问我们该怎么办? 收起