我户口在房子里,产权人是我爸,威胁我说要赶我出去?

RT：产权人是我爸，离异，人已60到处沾花惹草，目前房子只有我和妻子在居住，本人户口在这套房里，我和妻子新婚不久，并且预备要孩子，但父亲无端端的说要让一个同事的孩子过来住他的房间（父亲常年不在这住，他的房间也常年锁着。他住在现在的伴侣那里），PS：和我们年龄相仿的男生还是。。现在矛盾在于，我们不同意，因为觉得不方便，我们马上就要要孩子了。。而且以往有过先例，带外面的女人回来，也说小住2个月，但是最后住了2年因为父亲在外面找都别的女人长期不回来，这女人才搬走，不知道这次这个男生又要住多久；再一个我们今年要孩子，隔壁也是同龄人，尤其现在马上夏季了，穿的少出出进进都不方便。最后父亲要挟我们，意思可能是最后不行可能要赶我出去？但我没有其他房子，请问他有权力这么做吗？我有没有办法可以维权呢？求专家和正义之士给个良方，谢谢了~ 收起