我家建房在先，他明知我家有污染，还要坚持在旁边建房。

很多年以前，我家因环保中的噪音污染，将作坊从居民区搬迁到村边另建一厂房，几年后，另一村民声称不怕污染，在旁边建了车库及房屋，多年来，邻里相安无事，可前不久，因一点摩擦，那村民又以污染问题相要挟。我家建房在先，他明知我家有污染，还要坚持在旁边建房。请问：我们应该怎么办？