我想收回已买出去的房子，可以吗？

我家自建了三层楼房(每层四间),于07年将房子的一半(即一至三层的一半)卖给了李某。当时双方签了买卖协议,并付了90%的房款给我。因为房款没付齐,所以一直没把产权过户给对方。现在由于我们两家关系搞不好,互相当仇敌看待,所以现在我想收回房子,该咋办?需要付给对方违约金吗?谢谢回复!急!!