店铺转让的经济纠纷

我租了一个店面现在想扩大咨询了隔壁店面的老板能不能转让给我且让我打通墙壁来经营,那老板答应了。当我把转让费转入他户头后,他的房东不同意我打通墙壁,且他和房东的租房合同上写着在租赁期间内不能转让该店铺。我是否能追回我给那个店老板的钱?我跟他说既然房东不答应打通墙壁,就叫他把钱退给我,他就是不还!我怎么办?