我想问一下我有三间宅基地当初已经批了,后来村里修路把我的三间宅基地收回去,你说怎么办?

我想问一下我有三间宅基地当初已经批了,由于个种原因当时没盖房子,后来村里修路把我的三间宅基地收回去,村里就跟我们签了一个协议换到其他地方三间换两间,当时我们都不在家是我爷爷跟村里签的,现在两间都不肯给我了,你说怎么办?