您好,我在电视购物上买了一部手机,货到付款,但是后悔了,...

您好,我在电视购物上买了一部手机,货到付款,但是后悔了,看过之后没有签收,邮局给退了回去。现在卖家一直打电话催说必须签收,不然就要投诉我,赔偿他们损失之类的,还说有什么工商协会会来找我,请问我现在该怎么办?难道必须要签收吗?