我家搬迁后与别人协议租住他家房子,协议租住他家套二住房直至我

我家搬迁后与别人协议租住他家房子,协议租住他家套二住房直至我拿房为此。协议第一年房租每年5000元,以后每年6000元,但对方反悔要收回住房,经协商继续租住但又要求涨房租。这样的双方私下协议在法律上有没有效力。我可以拒绝交房和对方的涨房租要求吗?