农村耕地互换好些年了,现在对方要换回,但换回的耕地是荒废的并且亩数不够这怎么办?

农村耕地互换好些年了,现在对方要换回,但换回的耕地是荒废的并且亩数不够,我不同意,但确权时村里都是按照最早分地确的,所以土地确权是对方的名,村里只给出证明地是互换过的,不能改确权,现在对方已经耕种,这怎么办