您好,我于2012年委托被委托人全权处理我的房产并进行公证,我早已收回

您好，我于2012年委托被委托人全权处理我的房产并进行公证，我早已收回公证书，现去公证处撤销公证，但公证处说必须双方在场，但我早已找不到被委托人，请问是否可以单方面撤销。另外委托人是我和我丈夫，但我们早已离婚并且房屋归我所有，撤销公证是否需要他在场。