你好,我有个邻居他建房子的时候我们和他商量一人留50公分地,他不留,他说以后我们建房子和他们的房子挨

你好,我有个邻居他建房子的时候我们和他商量一人留50公分地,他不留,他说以后我们建房子和他们的房子挨在一起没事,等我们砌围墙的时候他跑来挖我们的石头,我和我妈妈去制止,他就把我和我妈妈推倒,我老公跑下来把他打轻微伤,对方要起诉我们赔偿医疗费,我们应该怎么办?是他有错在先