房屋转让保证金是否可以退回

你好，我想请问下，我有一套房子在宁波今年1月份跟买家签署了房屋转让协议，因为当时房子还没有交付，所以对方付了一笔保证金，现在对方名下有三套房子二套按揭的，所以不能购买我的房子了，所以对方想要回保证金。请律师帮我分析下，该如何操作！谢谢！