我和丈夫贷款买地盖房子,现在房子盖好了老公被调到异地工作,他父母提出要小叔子搬到我们新房子一起住。

但是我同意，我和他们的关系现在搞的很不好，盖房子时他父母给了我们16万块钱，淡出说好等他弟弟买房子我们拿给他弟弟一半，但是我现在提出只要他弟弟不来住我愿意把16万都还给他们，毕竟我觉得老公不在家和小叔子在一起太不方便了。但是老公不理解我，我应该怎么办