房产抵押,债务纠纷问题

我借给房东20万元，我住着他的房子，相当于他把房子质押给我了。现在他生意上出现了点问题，债主追他讨债，我想问一下债主有权利把他的房子收走么？毕竟房东的房子抵押给我了。。我们当时只是写了个抵押协议。