我是小产权房屋的出售人,当年和外乡人合伙建房,我出地,他出钱,建好后一人一层可以吗?

你好,我是小产权房屋的出售人,当年和外乡人合伙建房,我出地,他出钱,建好后一人一层,如今他不住这里,出租给他们住,经常换房客,影响了我的正常生活,我现在要追回房子,可以吗