卖房给对方经过双么谈好后,对方交来订金后,剩下余款

卖房给对方经过双么谈好后，对方交来订金后，剩下余款签协议付清，四个月后对方说不要房，并要求退回订金，请问哪方负法律责任。