怎么能快速的要回自己楼房

我哥欠别人钱，因我们是互换住的楼，因我不在家，所以把我名下《他住的楼钥匙交给债主了，没有手续，而且我们是拆迁楼5年内不能做任何买卖抵押合同，》可等我回来债主又把我的楼钥匙又给别人了！别人说债主欠他钱，债主给他楼钥匙也没有手续，在我楼里不出来！我拿我名下楼房房产证明去找过让他出去！可他不出去！请问我在呢吗才能快速要回我名下楼！