购房合同没写违约要赔赔偿金,现在对方违约更改楼层,我不同意,能否退钱并叫对方赔偿损失?

对方的房子是私人的，但又属于国有土地使用证，而且我和我的所有邻居都是房子还没做先交钱的，合同也写的是《合作建房协议书》，请问这样能退回房款和赔偿我的违约损失吗？能赔多少？