咨询买卖合同

我的厂在去年12月份卖给别人，说好先给40万，2013年年底再给40万，明年再给其余的。去年12月就已经把法人代表过给他了，今年3月份要了20万，现在问他要钱，他不给，我厂在卖给他之前有个厂租在里面，哪人到今年年底搬走，买厂就说哪厂没搬走，他不给钱，现在他不给钱的话，我可不可以不卖了，把钱退给他，请律师指教。