怎样才能撤销购房协议

签署了购房协议,付了5000元定金,现在由于自己现在住的房子卖不掉,所以不能买房(一方是没钱,另一方面是限购)这样算不算违约呢,怎样我才能解除协议,跟中介商量过他们不肯终止协议,我想问有没有其他途径可以撤销协议呢?