我向一个酒厂购买厂房,厂房是挂名一个打工的人身上的。我们一直和实际控制

我向一个酒厂购买厂房,厂房是挂名一个打工的人身上的。我们一直和实际控制人村书记联系,付了一部分定金。现在房子卖给别人了,我们这里违约了,我们找这个书记要定金双倍返还,他让我们找那个挂名打工的,和他没关系。该怎么办,那个挂名的没钱找他赔没用,我能告书记诈骗吗。