你好,我想咨询一下我离婚的时候两个小孩住房一套门面两个,小孩一人带一个

你好，我想咨询一下我离婚的时候两个小孩住房一套门面两个，小孩一人带一个住房归他所带的小孩所有，门面归我所有，但是由我带小孩继存，当时由于小孩上学就占时由他家所带，现在我没在家小孩还在他家里，他现在要霸占我的门面了，我该怎么做才好呢？