地図を見ると、碁盤目のようになっている一画がありますが、実は番所だった名残りです。ここに唐人屋敷や港の船の出入りに目を光らせる番所があったのです。ここには番所役人10人の屋敷が立ち並び、それがのちに「十人町」という地名になりました。
