我是单位解决的北京市集体户口，现在因为买房把房口卡借出，但给单位写了用完退回的承诺，如果不退怎么样

请问我是北京市集体户口，因为是单位给解决的户口，所以单位不允许我把户口转出，但是目前我已买房，户口卡我也借出来了也说是买房，就是单位让写了个承诺，使用后必须归还单位，但我现在想落户，会不会有什么法律纠纷，会打回户口原籍吗？