无赖占我房子

我们有6层加地下室,但合法面积只有1-3层,其他都是违章。无赖是我母亲的老公,现已离婚。经过法院调节,我和母亲分到合法面积1-2层,违章面积地下室,5-6层。现在无赖占在我的5层,不肯走,虽然我们有书面协议,让他在2009年4月10日腾退。找法院,法院说5层是违章建筑,不能帮我申请强制执行或腾退。现在我该怎么办,难道没有其他法律途径,只有靠打架一个途径了吗? 收起