您好,十几年前拆迁,大伯家平方

您好,十几年前拆迁,大伯家平方不够,爷爷把我家的一套房子要了过去。。当时立下协议,房子给我堂兄,当今后的扶养费,但是现在我堂兄不扶养。可以要回钱吗?