土地使用权是属于哪一方?

我家有一块土地,在农村的，因为一些原因，和邻居换地,但是没有什么换地合同,请问现在换地之后的土地的土地使用权是属于我家的呢还是邻居的呢？谢谢，现在邻居要在那块地盖房子，我们该怎么办？