借款时签订卖房委托,还款时受托人不交还委托书

我在一个银行贷了款,到期资金紧张,就跟别人借钱,但签订了卖房委托书并公证了。然后我又在另外一个银行贷了款,并办理了抵押手续。银行放款后把借款人的钱还清了,但是对方说钱已经还清了,委托书就没用了,就没还我委托书。请问这样有什么风险?借款人能把我的房屋拿去转卖吗?我要维护保障我的权益?