我和前男友一人一半付了房子首付,后面他把我出资的一半返还了大部分给我,

这个很明显是不可以的，从投资盈利的角度来讲，双方各自服了一半的本金，后来一方返还了一部分，但是房子升值后所盈利的一部分也该双方共享的，所以，他要不回房子，但是房子应有他的一半

你好!不可以。