关于房屋居住权与房屋所有权的问题

我的父母离婚在离婚协议中我有房屋的所有权,我父亲有居住权并在协议中有“如果我父亲在另找结婚,我有权赶他们出去”现在我父亲已经和另外的结婚,并另外接的女方有房屋现在他们把女方的房屋租出现在在这种情况下我可以赶走他们吗?