就是一小产权房子通过中介交了押金签了合同,现在买方反悔了不想买要求我把押金退给他

就是一小产权房子通过中介交了押金签了合同,现在买方反悔了不想买要求我把押金退给他,如果走法律程序房子受不受法律保护!现在买方说如果不退押金就打官司!