我在家乡农村山沟沟里房前屋后的自留地上盖猪舍告诉我属于违建,自留地是承包地以外20年前自己掏钱用机械开的荒地这合理吗?

你好!我在家乡农村山沟沟里房前屋后的自留地上盖猪舍告诉我属于违建,自留地是承包地以外20年前自己掏钱用机械开的荒地。说是违建让我交保证金,说以后不养了恢复耕地,这合理吗?