私人调解后现在后悔想起诉可以吗

两年前买亲戚的拆迁安置房付房款并签协议，前段时间他反悔想要回房子，经中间人调解他将房款和两年利息退回给我，但现在我听说应该是按现在房价退回房款才对，现在很后悔当时的私人调解，想起诉要求他再退现在房价与两年前房价的差价，可以吗？