本人常年在外,前几天给家里打了一万块钱,委托家里人帮忙交下买房子的定金对于这样蛮不讲理的我该怎么做?

本人常年在外,前几天给家里打了一万块钱,委托家里人帮忙交下买房子的定金,却不想被哥哥给扣下了,他说他想要搞养殖,需要把家里的房子拆掉(一栋房子弟兄两个人的,拆了没得赔偿金的)我没同意。他要挟我说我若不同意他就把那一万块钱给扣下了,什么时候同意什么时候给我。对于这样蛮不讲理的我该怎么做?