我的房子买给别人,余下房款每安利息按5里算,最近两次一直拖三个月,我想收回房不买了,这该咋办?

我的房子买给别人,现在是给一部分房款,余下房款每安利息按5里算,定当月利息按照下月6号前给,一年多了他都没有按时给过,最近两次一直拖三个月,我对他没有信心,我想收回房不买了,这该咋办?