我家地基租给他人,口头协议说他盖得房子归我家,现在反悔了

我家地基租给他人，当时签的协议说租给他5年，每年300块。协议到期后他还想继续租用，当时只是口头协议说可以按以前的协议300块一年租给他，但是他盖得房子归我家所用。现在我家地基那块需要拆迁了，他家人矢口否认不承认，并且要求拆迁补偿关于房子的补偿归他家所用。请问他这样要求合理吗？我们该怎么办？