大概20几年前,我家和另家各买了一套老房子的一间和

大概20几年前，我家和另家各买了一套老房子的一间和两间，不久他们把他们那两间的木头和砖头拆走了，我家的也拆了，那里成了一块空地，这块空地在我家大院里，大概3年前我家在这块空地上改了3间新房子，今天他们突然找上门来说那地皮有他们的两间，要求我们拆掉，不要给钱，我想问下这样合法吗？