我们村的土地 现在在我们的土地上盖房子。我们要合同村上说没有。我们有权阻止他们盖房子吗

我们村的土地 被租用,说是修自行车赛道。什么合同都没有,只给了一年的租贷费一千元。现在在我们的土地上盖房子。我们要合同村上说没有。我们有权阻止他们盖房子吗