我有一块自畄地,要准备建房子,但是本村有一个恶霸不准我动工,我不知道怎么办?

律师你好,我有一块自畄地,要准备建房子,但是本村有一个恶霸不准我动工,我这块地和他一点关系都没有的,他就是一句话,我一动工,他'就要阻拦,我不知道怎么办,特咨询一下,谢谢。