责任田到期后租赁方又建的房屋应如何处理

2002年村干部以扶持养殖业为由让我把2.3亩责任田租赁给本地村民搞养殖业,合同期是5年(2002—2007年,合同规定到期后,我若用他所建筑的房屋,可协商作价给我,我若不用他必须在2个月内全部拆除)。但合同到期后我没说终止合同,对方也没和我续合同,(但现在村干部说不用和我们打招呼只用到大队续一下合同就行,事实上他们也没拟定合同,只是在原有的合同下方单方写再续20年2007-2027)现在我想收回责任田,请问我是否要赔偿他在合同期外建的房屋。(他在2009-2010年又建房屋20余间)他们单方续合同有效吗? 收起