公房是我父亲的名字,不过在过户之前我父亲怕我不赡养他和我签了一份协议由街道卡章。有权利收回房子吗?

公房是我父亲的名字,后过户给我,然后我把房子买下来写上我和我媳妇的名字。不过在过户之前我父亲怕我不赡养他和我签了一份协议由街道卡章。父亲一直由我来扶养。这和我媳妇有矛盾天天要告我去。有权利收回房子吗?房子是2015年过的户。