邻居和我家为了盖房子打架都住院,他家又不接受调解,村委派出所都无能为力

邻居和我家为了盖房子打架都住院,他家伤的严重点,现在要我们家赔钱,况且他家有两个八十岁的老人出来闹,原来要一万,现在又要改口要五万,他家又不接受调解,村委派出所都无能为力,最好怎么处理?