用共有墙打空调孔 被邻居说侵犯物权法 请问对吗?

隔壁单位的邻居今天找我们，说我们用共有墙打空调孔，侵犯了他们的物权法权益。我们用尺子量了一下，外墙略过他家一点点，然后孔是在共有墙上打的。不知道相关法律如何规定，物业会如何判定，我们要如何处理这样的情况？看对方的意思是想要赔偿金了。