2011年10月11日，日本上海人同乡会筹备会议在东京池袋举行，正式开始了日本上海人同乡会的成立工作。

2012年8月18日，日本上海同乡会在东京“聘珍楼”日比谷店举行了成立大会。中国驻日本大使馆代表对日本上海同乡会寄予了三点希望：一是希望日本上海同乡会今后为增进中日两国民众相互理解、增进两国友好合作努力，通过实际行动进一步树立上海人在日本的良好形象，同时把一个客观的、全面的、正确的中国形象介绍给日本民众；二是不忘家乡，继续为上海的经济建设和社会发展做出应有的贡献；三是加强在日上海人的团结，提高凝聚力。

2017年7月24日，正式申请设立为“一般社团法人日本上海同乡会”。

日本上海同乡会成立以来，通过各种活动以及微信群等加强会员之间的交流和联系，已经形成了有300多名核心会员，2000多名普通会员的规模的团体。这些年以来，除了各种平时的餐饮酒会活动之外，日本上海同乡会还单独或者和其他在日团体合作举办了海派之夜元宵晚会，熊本赈灾义演活动，赏樱会，花火大会，在日华人马拉松比赛，在日华人保龄球赛，在日华人高尔夫球赛等等各种活动，通过这些活动，使日本朋友能更了解上海，也让在日本的上海籍华人能有一个更好的交流平台，丰富大家在日本的精神生活。