懂法律的朋友帮忙一下:买二手房时把自己房产证上注明的门牌房私下签合同仍留给了卖方,是否还能要回来?

懂法律的朋友帮忙一下:我买了一套二手房,房子具体情形是楼上一套房子加楼下一个门牌小平房,我的房产证上也注明的是这样,但是过户时我一时糊涂和卖方私下签了一个合同,上面写着那个门牌小平房的所有权和使用权仍归卖方,我不知道这和房产证是否矛盾,我现在想要回那个门牌房,不知那个合同是否有法律效力?