房产侵占

家中老人过世后,房子借给了隔壁邻居,叔叔借口买坟需要钱至今已经收取了三年房租,当时签的合同也在叔叔手上。今年4月要求邻居搬出,也和邻居说好了到期后不要再付给叔叔钱,但到期后邻居以之后的房租已经交给叔叔了为由,不愿搬出。和叔叔联系后,表示会退还之后几个月的房租,但有口头威胁,像这样的情况想咨询下各位老师应该如何操作?谢谢。