房屋买卖买房拒不支付尾款

我出卖了一套自住房,当时约定我们履行完合同约定的义务后交钥匙给买方它们就付尾款1万。但是我们按合同约定将房屋钥匙交给了买方,买方却以我们搬走花园里的植物为由拒绝支付尾款。但是花园里的植物并未在合同的约定范围内,合同约定的东西我们全部如数交付给了我买方,只是买方在我们不在现场的时候私自给花园拍照作为证据,请问我们该怎么处理?