我们以前管了一个没人管的老人,这个老人有一个女儿跟着他老婆在外地如果他女儿回来要房子我们是不是必须归还?

您好,我们以前管了一个没人管的老人,这个老人有一个女儿跟着他老婆在外地,有一个八十多的老娘,老人生病通知她们了她们没有管,老人去世时也通知她们了,她借口太忙也没有回来安葬,是我们埋了他,他死时口头协议说让我们替他为老娘尽孝,把房子和地留给我们,现在我们想搬进去和老人一起住,如果他女儿回来要房子我们是不是必须归还