在日本，有近10万上海人学习、工作和生活。作为一个主要华人群体，上海人活跃在日本的各行各业。在中日两国，都有各省市人的同乡会或团体，然而却一直没有出现一个可以将在日上海人凝聚在一起的平台。

因此，一些志同道合的在日上海人前辈们，提出了打造一个属于上海人的团体的构想。这一初步的构想经过多次的酝酿，也得到了很多具有同样想法的企业和个人的支持。10月11日晚，日本上海人同乡会筹备会议（以下简称筹备会）在池袋举行。日本上海人同乡会应运而生。