我是回迁户,开发商已交付我新房钥匙,临时写了个协议并盖了公章将来我的房子有收回去的可能吗?

律师你好,我是回迁户,开发商已交付我新房钥匙,临时写了个协议并盖了公章,但是不让我现在装房,因为还有回迁户没解决,将来我的房子有收回去的可能吗?