离婚协议中孩子抚养权归对方,但是从离婚前到现在孩子(11岁)

离婚协议中孩子抚养权归对方,但是从离婚前到现在孩子(11岁)一直由我来抚养,对方只是给些钱,我有固定收入(月3000元),从六月份起对方不愿给线协助抚养孩子,说抚养权归她,没义务支付抚养费。为此我以起诉法院变更抚养费,孩子也给法院写了愿意跟我一起生活的申请。现在我心里没底的是对方如果以女孩不宜与父亲生活为由不同意怎么办?