我还能要回房吗

我老公公分了一套房子,由于没钱够买,我们花钱买下了,我老公公家四个孩子,当时我们买之前问过他们都不买,而且当时说谁买归谁,当时我老公写了一个纸条上面写着房是我们买的,以后就归我们所有,我老公公签字按的手印,可我老公公现在后悔了要把房子给小儿子,钱也不给我们,这件事情我们该怎么处理呢