我我想和养父断绝父子关系,我结两次婚都是我自己出钱,修房子也是我一个人出钱

我咨询一下,我想和养父断绝父子关系,我结两次婚都是我自己出钱,修房子也是我一个人出钱,我每个月都给他钱,可是他每天在家闹,我在外地,家里只有我老婆和孩子,我现在只想断绝父子关系,一点都不想和他过了,