买二手房诚意金约束的只是买方吗？

我看上一套二手房 房主在外地 我一直跟中介谈妥后 决定买了 中介要求交诚意金2万给他，说是交了房主才确定我要买房 从外地回来签合同。诚意金应该交吗？应该交多少呀？感觉交了就约束自己 而卖家完全可以反悔什么的 我应该怎么做才好呢？