住宅手当を残業代の計算に含めなくてもよい場合もありますが、あなたが支給されている住宅手当は、計算に含めなければなりません。
　法定時間を超えて残業した場合の「時間外労働」には25％の、1週1日または4週4日の法定休日に労働した場合の「休日労働」には35％の、22時から翌5時までに労働した場合の「深夜労働」には25％の、それぞれ定められた割増率で計算した割増賃金を、使用者（お店の側）は、支給しなければなりません。月給制の場合、割増率を掛ける「1時間あたりの賃金」は、月給額を「1年間における1ヶ月平均所定労働時間」で割って算出します。この算出に用いる賃金には、一定の賃金は除外することになっています。その除外する賃金は、（1）家族手当（2）通勤手当（3）別居手当（4）子女教育手当（5）住宅手当（6）臨時に支払われた賃金（7）1ヶ月を超える期間ごとに支払われる賃金、の7種類が限定的に列挙されています（労働基準法施行規則21条）。重要なことは、これらの賃金を除外する際には、単に名称によるのではなく、その実質によって取り扱うこととされていることです。
　例えば、「家族手当」という名称で支給されていても家族数に関係無く一律に支給されているなら、それは除外できる賃金にはあたりません。逆に、物価手当、生活手当等の名称で支給されていても、扶養家族数を基礎に算出されていれば、ここでいう家族手当に該当し、除外できる賃金となります。
　では、「住宅手当」の場合はどうでしょうか。基本的な考え方として、除外できるのは「住宅に要する費用に応じて算定される手当」ということになります。「住宅に要する費用」とは、賃貸住宅については、居住に必要な住宅の賃借のために必要な費用、持家については、居住に必要な住宅の購入、管理等のために必要な費用のことです。行政通達ではさらに具体的に、除外できる住宅手当にあたる例、あたらない例について、図表のように例示されています（平11.3.11基発170号）。
　ご質問のような、「賃貸住宅居住者に一律2万円」という具合に定額で支給される住宅手当は、ここで例示されているように、割増賃金の基礎から除外される住宅手当にはあたりません。

　割増賃金の基礎となる賃金から除外できる賃金は、本文で挙げた7種類だけに限定されています。したがって、役職手当や精勤・皆勤手当といった手当は、割増賃金の計算に含めなくてはならないことにも注意してください。