由于下雨导致山体滑坡,堆在房子后面,房子的主人请挖土机清理,

由于下雨导致山体滑坡,堆在房子后面,房子的主人请挖土机清理,在挖的过程中导致山体进一步滑坡,山上有我家山核桃树也一并倒了,而且在挖倒我家山核桃后没有通知我家,后来通过别人才知道。并去交涉,当时同意他们用另外一块山核桃林地交换,哪知后来他们反悔不同意了,并扬言要打人。请问该如何处理。