怎样收回我们房屋居住使用权

父亲与彭某同居，未领结婚证，父亲瘫痪三年，我们三姊妹请了保姆全天护理，让他安心走完了人生最后旅程，于今年十月去世。父亲在他健康时就把房产证交给了我们子女保管，他的身份证，工资，也交子女保管，帮他打理家用水电煤气等开销。父亲这套房子是我们母亲在世时子女共同出资购买的。现我们要收回房屋使用权而彭某不肯搬出，怎么处理。