我怎样扣除房屋租赁乙方违约责任赔偿金?

今年四月乙方向我租用房子，因我们是异地，一时无法相聚签订合同，我们以短信约定，乙方当即付与我房租和押金，租期八年，分两次签约，可现在乙方不租了，要我退给他房租，请专家告诉我该怎么退？