口头协议交换山地有效吗？交换后他有权出租建房吗？

我家把村里分的山地上的果树口头协议和别人交换了，但没多长时间他把和我家换走那块地出租给别人了，别人把树砍了建造房子了，请问这样合法吗，我可以把山地要回来和要砍树的补偿吗？ 还有就是在山地上建造房子算不算违章建筑？ 哪个部门可以投诉违章建筑？