关于二手房交易不成退，买方已缴纳个税的问题

本人买二手房，作为买方，在pos缴纳个税时划的本人的储蓄卡缴费，但由于后续交易不成，解除了网签合同。但到丰台建委办退税时却被告知，钱只能被退回卖方卡中，而且不能原路退回给买方。这个规定是否有问题？我交到建委得钱，交易不成却只能退给别人？请帮忙给个解决方案，目的只是想把自己交得钱从建委拿回来，避免建委规定对我造成的损失，谢谢。