公房被非法占用

律师朋友您好!我想咨询一下,我的公房被别人占用了多年,而这个人户籍长期没有进入该住处,已经好几年也不居住在此处。他将占用的公房作为堆放无用的家具,而房管所却私下同意她以非户主身份前来缴纳公房租金。请问;我有权将他的物品搬到外面保管起来,收回他的房屋吗?