关于去年洪灾我们家房子围墙外面的过路地基倒塌致使住在我们下面一户邻居的房屋倒塌但是现在不想退还给我们应该怎么办呢?

您好,我想问一下关于去年洪灾我们家房子围墙外面的过路地基倒塌致使住在我们下面一户邻居的房屋倒塌,当时协议好赔偿他们,但是约定国家补偿金额确定后多了退给我们,少了我们补上。但是今年补偿款终于来了邻居却迟迟不愿意退还我们的赔偿款,给邻居钱的时候有村干部担保,邻居以借条的形式节奏我家的钱,但是现在不想退还给我们应该怎么办呢?