一来二去我们就发生了不正当的关系,发现我们有关系,还给儿子买了房子。要回我以前的钱可以吗?

2010年我认识一位工厂老板,他每天给我一个电话,一来二去我们就发生了不正当的关系,后来他告诉我他外面有欠债,厂房是他自己砌的,我也就相信了,第一次他跟我借了2万,后面到银行直接把现金存到他的帐上,有过两三次,现在记不清多少钱了,也没有打过