我在老家新建的房子,他们没买一块砖开始父亲是以收稻子为由把钥匙拿去了,我不知道该怎么办?

我在老家新建的房子,他们没买一块砖开始父亲是以收稻子为由把钥匙拿去了,后来我父亲和我继母带着她的孙子强行搬进去住,我建房子时借的四万元如今也没还,叫他们出来是不可能的,他们仗着自已有人,我不知道该怎么办