哥哥强占了房屋不退给,怎么做?

三年前从母亲过户给一房屋。往常们没有住着,就让哥哥出租。租金全给了他。最近需要自己住了,但是哥哥却百般阻扰,甚至要强行占着。不知道怎么做,哥哥一向很凶。请各位为出个主意。