7月7号那天我开车不小心把别人家的房子大门撞烂了,墙壁那里起（来自绵阳保险公司小区）

7月7号那天我开车不小心把别人家的房子大门撞烂了,墙壁那里起了一条小缝。大概3米高。但是里面看没有缝隙跟裂痕。现在房主要价10万。不给就不跟我去交警那里处理,也不起诉我。我的车跟驾驶证行驶证被交警扣留。保险公司那里只给我赔偿他的门还有他的墙修复的费用。我该怎么办。难道一直这样拖下去吗。