农村自己家的房子,一共4成,自己家人住在最上面,下面分租给住

农村自己家的房子，一共4成，自己家人住在最上面，下面分租给住客，是一层层租的，现在三楼的住客严重影响了我们的生活，2楼的住客应为太吵和他们争吵，被他们打破了头，和他们老板娘说了，他们也没多大反应，房子到明年5月份才到期，和他们说过，我们不租了，他们却说按合同来，他们不搬，到期了才走，现在不知道该怎么办。