我们夫妻婚内由男方父母出资购买了一套两限房

我们夫妻婚内由男方父母出资购买了一套两限房，房子写的是我俩的名字。当时也并未阐述是我们向其父母借款购买的。现在因为男方出轨导致我们婚姻破裂打算离婚，对方父母突然声称当初买房的钱是我们借款，要求偿还。因为房子现在还未交付使用，其父母声称要将房款退回。请问这情况是合理的吗？