我们该不该赔偿违约金

买的房子当时钱没有完全付完  还有24万说是分两次给开发商但是到约定时间的时候  有很多人在售楼部闹说老板跑了  这样就没敢付钱  现在让赔偿违约金我们该怎么办  而且这个房子也没有按约定的时间交