我家是宅基地北面是厂房我要盖房算影响他的采光权吗?

我家在原有的一层平房上又加盖2层，后邻是个厂棚他哪里也不是宅基地。我家的正房和他的正房相距60米以上，他非说我影响他的采光权！但是也不去法院上诉，就是不让盖！现在又去城建告我！我该怎么办？城建不会拆我的房子吧？