买卖房屋纠纷

我父亲代理我的奶奶卖房,可是没有签委托书,但是在中介提供的买卖房屋合同上面有我父亲签的字也有我奶奶和我父亲的手印,现在奶奶又不想卖房,需要返还买方的订金和违约金,这笔钱是由我奶奶给付买方,还是由我父亲给付?如果买方起诉,我父亲需要付法律责任吗?