我家今年准备建房子,先把旧房拆了,但是在拆墙的时候,倒下来的墙弄到隔壁（来自香港旧小区）

我家今年准备建房子,先把旧房拆了,但是在拆墙的时候,倒下来的墙弄到隔壁的家房子的围墙了。对方自己找了鉴定的人弄鉴定报告,本来等鉴定报告出来我们就想和对方家谈赔款的事情。但是对方一直拖,鉴定报告出来快一个月了才跟我们说,这还是我们天天追的才说报告已经出来。而且那个报告上也就那个墙体裂了而已,他们现在要求我们赔20万,还要把他们围墙重新修好,说我们在期间散播谣言毁坏他们名誉。现在他们家一直躲着拖着我们,我们想尽快解决这个事情。我想问一下,这个如果要打官司的话时间要多久啊,而且这个他们一直这样拖着我们,我们可不可以找他赔偿或是把金额减少一点? 收起