結論としては、年次有給休暇（年休）を取得した日に支給される賃金は、その取得した日の賃金で算定されるので、ご質問のようなケースも仕方がないものです。
　まず、正社員からアルバイトになったとのことですが、実質的な雇用関係は継続しています。したがって、正社員時代に発生した年休の権利について、アルバイトになってからも行使することで、年休を取得することは可能です。
　そして、年休を取得した日の賃金については、次の3つのうちのいずれかを選択して、就業規則等に定めておかなければなりません（労働基準法39条7項）。
（1）労働基準法12条に定められる「平均賃金」
（2）通常の賃金
（3）健康保険法における「標準報酬月額の30分の1」
（（3）の場合は、使用者（お店の側）と労働者代表との間で「労使協定」の締結が必要です）
　（1）～（3）のいずれにしても、実際に年休を取得した日の賃金をベースに算定されます。決して、年休権の発生した日の賃金で決定されるわけではありません。
　したがって、ご質問のケースについても、年休権が発生したのが正社員であったころだとしても、その権利を行使したのがアルバイトになってからなら、年休取得日に支払われる賃金は、その取得した日のアルバイトとしての賃金となります。
　これを損と感じるのも分からないでもありません。しかし、逆にアルバイトから正社員になったケースは得することになりますし、昇給や降給があった前に年休権が発生し、後に取得した場合にも損得が発生することになります。ルールとはそういうものと捉えるしかありません。

　年休取得日の賃金については、本文のとおりです。
　なお、アルバイト等で、週所定労働時間が30時間未満であって、週所定労働日数が4日以下又は年間所定労働日数が216日以下の労働者には、その所定労働日数に比例して、正社員よりも少ない日数の年休が付与されます（比例付与）。一度年休権が発生した日数は、その後アルバイトになった等で比例付与の対象になったとしても、減らされることはありません。年休取得日の賃金とは異なりますのでご注意ください。