我是房东,房子租给对门,后来不打算租了,出于都是对

我是房东，房子租给对门，后来不打算租了，出于都是对门就没有选择让其缴纳违约金，而且口头允许其转租，转租之后租户不太符合我们的要求。我们想让其转租者退租。转租人员内容我们并不知道，也不知道其签约过程，最后只是通知我们去看了一下租户，（协议已经签署），这种情况可不可要求其退租。