我是农村的我拆了老危房,在自家的老宅基地上盖、邻居三番五次无理取闹怎办?

您好律师:我是农村的我拆了老危房,在自家的老宅基地上盖、邻居三番五次无理取闹,不让我施工,我的宅基地对他一点影响都没有。怎办?