爸爸去做上门女婿了,他那边有一儿一女,等我爸老了我可以不养他嘛?我从小都是奶奶带大的犯法吗?

爸爸去做上门女婿了,他那边有一儿一女,等我爸老了我可以不养他嘛?我从小都是奶奶带大的,我还有一个亲弟弟,我们两个小时后一个月给我们两兄弟500元生活费,我们这边什么都没有,就两个人,他那边什么都有,两套房子,我想等他老了我不养他,犯法吗