自建房用了一半欠火砖,做了两层半,现在欠火砖都起了粉状物,

自建房用了一半欠火砖,做了两层半，现在欠火砖都起了粉状物，有人说欠火砖做的那部分墙体砂浆粉了以后会脱落，而且起粉状物的欠火砖会慢慢被水份浸润再起粉，直至整块砖没有了。墙体就会成空心的了，我很担心。真会这样吗？我该怎么办呢？