当时我们也不同意换,换之前都没进行装修,换之后各自装修的,他现在想起诉换回去我该怎么进行辩护

你好,我大爷当时非要给我爸换套房子住,他六楼我一楼,非说自己不爱爬,当时我们也不同意换,后来他强行换走钥匙了,当时忙着装修婚房就这样同意了,换之前都没进行装修,换之后各自装修的,现在住了两年半多了,他现在想起诉换回去我该怎么进行辩护