此处房产权归谁所有？

本人是河南省洛阳户籍公民,2004年在山东省文登市小观镇南湾村花费4500元自高某手中购得四间平房,双方立有字据(未公证),土地证,房证所有人是高某,两证均在我本人手中,后花费10000余元进行改建装修,现在村里要集体开发,可得到120㎡住宅楼,而高某要求退还房产给他,并补偿17000元给我本人,请问高某这样可以吗?