我与前夫在 10月在民政局协议离婚,小孩由他抚养,我每月给小

我与前夫在 10月在民政局协议离婚，小孩由他抚养，我每月给小孩500元生活费，现在他对小孩不闻不问，平时小孩寄宿老师家里，礼拜天就把小孩送到我娘家，他对小孩的生活起居疏于照顾，现在我想要回小孩的抚养权，问我该怎么要回。