帮农村建盖脱贫安居房,政府在开会宣传时跟老百姓说政府补助4万,请问我们该怎么办

我们在乡镇政府的引进下,帮农村建盖脱贫安居房,政府在开会宣传时跟老百姓说政府补助4万,给货款5万多余部分自筹,可是后面老百姓贷不到,房子建好后平均每户欠我们4.万元左右,政府又想把责任推给我们施工公司和老百姓自己解决,请问我们该怎么办,才能追回我们垫支出去的钱,约400万元左右。希望你们能给点主意,谢谢!