法改正により、ご質問のケースでは厚生年金保険料は不要になりました。前職の会社から返してもらうようにしましょう。
　社会保険料（健康保険料と厚生年金保険料）は、『月』を単位に発生しますが、それにはいくつかのルールがあります。まず大原則は、「月末に在籍していた場合には、その会社で保険料がかかる」というものです。たとえば、ある会社を5月31日に退社した場合、月末に在籍していたことになるので、5月分の保険料がかかります。一方、5月1日から5月30日までの間（月の途中）に退職した場合、月末には在籍していないので、5月分の保険料はかかりません。
　このルールには例外があり、同じ月に入社して退職した場合、月の途中で退職していても、この月の保険料はかかることになっています。同一の月に資格の取得と喪失をするので、これを「同月得喪」といいます。
　ところが、厚生年金については、さらに例外があり、次のいずれかに該当する場合、保険料がかかりません。
（1）退職後、同一月に、さらに別の会社に就職し、そこで厚生年金に加入した場合
（2）退職後、同一月に、国民年金に加入した場合
　（2）については、平成27年10月の法改正により開始された制度です。ご質問のケースでは、従来であれば、厚生年金保険料と国民年金保険料の二重払いをしなければなりませんでした。しかし、改正後は、国民年金保険料だけ負担すればよいことになりました。天引きされた保険料は不要となりますので、退職した会社に説明して、返してもらうようにしましょう。
　なお、健康保険料については、このような規定はありませんので、従来どおり、同月得喪の場合に保険料はかかります。

　退職した月に再就職しなかった場合、国民年金は、20歳以上60歳未満で国内居住者は全員が加入するので、ほとんどの場合、（2）に該当するでしょう。該当しないケースとしては、20歳未満・60歳以上で同月得喪となった場合や、退職した月に国外へ移住した場合です。
　とは言え、（1）か（2）に必ず該当するというわけではないので、同月得喪だからといって、「最初から天引きしない」ということはしないでください。該当する場合には年金事務所から通知があり、保険料の還付請求をすることで、不要となった保険料が返ってきます。