我是在农村给户家盖房的,年前的时候给一户人家盖房,当时他的宅基地不方正算违法吗?

我是在农村给户家盖房的,年前的时候给一户人家盖房,当时他的宅基地不方正,对方也知道,但是他当时说他只是要这块地方只管让我给他盖,然后我就给他盖了,但是盖成后他不给我结账,非说自己的宅基地没问题,是盖的问题,盖的房子是我自己投的资给他盖的房子,现在我决定不要对方给我结账了,把他的房子给扒了,算违法吗?