要求退回土地使用权恢复原状。土地户可以收回土地吗?怎样收回

你好:2008年我从土地户手中通过使用权转让方式获得500平米的土地用于栽树桩盆景,后来由于技术、气候等因素导致失败,土地一直空着,2016年被另外一个人买去建房,现在土地户以擅自改变土地用途为由,要求退回土地使用权恢复原状。我想咨询的是:一、土地户可以收回土地吗?二、怎样收回,三、我是否会当责。谢谢!