我家有块土地卖给别人修房子,但他家旁边的的没有卖给他,当时的口头协议是把旁边的土地借他使用,然后我要

我家有块土地卖给别人修房子,但他家旁边的的没有卖给他,当时的口头协议是把旁边的土地借他使用,然后我要种庄稼的时候还给我,现在他又不还我,我该怎么办呢