买家房子看好了并且要求卖家不要卖给其他人,给买家留着且交了10000元

买家房子看好了并且要求卖家不要卖给其他人,给买家留着且交了10000元钱,但是没签订任何合同,一切都是口头协议,现在买家不想买了,要求退还10000元。想了解下,卖家应该退还这10000元吗?