关于房屋交易问题

律师你好！我现需购买一套二手房，但该房于2016年1月底才满5年，为避免缴纳营业税，我们双方协议先首付20万，剩余32万于2016年1月底过户时支付。首付20万由我、中介、卖方签订协议。但本人担心该协议没有法律效力，房子钱财两空，求律指导我该怎么做！真心求助！