律师您好,我租了一个一楼到四楼的民房,然后一楼和四楼分租给别人,一楼二楼中间有楼梯,当然外面也有楼梯

律师您好,我租了一个一楼到四楼的民房,然后一楼和四楼分租给别人,一楼二楼中间有楼梯,当然外面也有楼梯,因为都是做生意,分租时讲好,有货时要从内部楼梯运送货,他也认可,算口头协议,可等他搬进来就不认帐,不允许我们走內部楼梯,影响我们做事,因为口头协议,我现在不想租给他了,怎么办