只签了居间合同,没网签,卖方不卖房了怎么办?

9月初我通过中介卖了一套房子,当时跟中介和卖方家签的居间合同,因为我手里只有30多万,我和卖家商量给我一个半月的时间办贷款,等贷款下来再网签!结果上周我这边贷款办下来了,他突然说不卖房了,当时我交了5万的定金,我们约定一方违约的,赔偿对方双倍定金,但是双倍定金也不能弥补现在房价上涨的损失,我能要求他赔偿么?