与男友分手后他跟我要共同买房钱

我与男朋友共同出资买房，合同上写的我的名字。现在分手后他跟我要他出的房款。我不给他，他要起诉我，按法律我必须给他吗？怎样才能不给他。