赵某与吴某订婚,吴某家人要赵某拿彩礼四万元,赵某给了,而吴某为赵某装修房子花了五万元请问吴某可不可以不陪钱?

赵某与吴某订婚,吴某家人要赵某拿彩礼四万元,赵某给了,而吴某为赵某装修房子花了五万元,之后赵某与吴某因事纠纷退婚了,赵某因家境困难将吴某告上法庭,要求陪款四万元,请问吴某可不可以不陪钱,(两方都有证据)