离婚协议写无共同债务,婚前男方借女方家钱,没有写欠条,男方承认欠女方家钱现在男方要女方还钱?

离婚协议写无共同债务,婚前男方借女方家钱,没有写欠条,男方承认欠女方家钱,男方说这钱从孩子的抚养费里扣,现在男方要女方还钱?孩子判给男方,怎么处理