我店铺转房给别人,当时他看上我店铺一直要求订金交一下,然后过几天来接手,我当时没想清楚然后就收了订金

我店铺转房给别人,当时他看上我店铺一直要求订金交一下,然后过几天来接手,我当时没想清楚然后就收了订金,也没写什么收据,也没写什么协议,中间隔了一天,现在我不想转给他了,需不需要给他双倍赔偿,还是直接订金返还给他?他是个地痞,然后说装修的东西都买了,意思就是想让我多赔钱,现在他根本不要押金,强迫转给他。我该怎么办?