我购买房产时，以儿子名字贷款买的房，儿子婚后房款都是我还的，但我和儿子有借款协议，现儿子要离婚分割

我购买房产时，以儿子名字贷款买的房，儿子婚后房款都是我还的，但我和儿子在他婚前有借款协议，现儿子要离婚分割房产，我可以向他们夫妻双方按协议要回我为他们购房用的款吗？