1924年，日军在东江湾路和四川北路交汇处的四川北路2121号（原东江湾路1号）建造了坚固的陆战队司令部大楼。这幢外形酷似军舰的大楼在两次淞沪事变中都是中国军队最重要的攻击目标。
位于东江湾路和四川北路交汇处，外形酷似军舰的日军陆战队司令部
1927年，北伐战争开始，中国政局发生剧变。为了应对局势变化和随时准备干涉中国，日本海军于1927年3月派遣“天龙”号巡洋舰掩护来自本土吴、横须贺、佐世保三个镇守府的特别陆战队共计3个大队在上海登陆，与驻防上海的“利根”号巡洋舰上的临时陆战队共同组成“联合陆战队”，总兵力约1400人，由植松磨练海军大佐统一指挥。这支联合陆战队在上海阻止北伐军进入日租界，以及1928年5月在济南阻止北伐军进攻的“济南事变”中都发挥了关键性的作用。因此在北伐战争结束后，日军没有将这支部队解散，反而在1928年6月从这支联合陆战队中挑选精锐，正式组建“上海陆战队”，编入“遣支第一舰队”的作战序列常驻上海。
相比之下，日本支那驻屯军是根据1901年《辛丑条约》的有关规定，关东军则是根据《朴茨茅斯条约》和1905年《清日东三省事宜正约》的相关规定而组建并进驻中国，尽管这两个条约都是强加给中国的不平等条约，但好歹还算有个法理依据来遮羞，而日军进驻上海的海军陆战队，则完全是赤裸裸地践踏中国的主权。
上海陆战队成立后，日军便觉得有了可以在上海大捞一把的本钱。因此于1932年1月28日向中国在上海的驻军发动进攻，以为能够一举解决上海守军，占领整个上海。但遭到了驻防上海的十九路军顽强抵抗。十九路军不仅击退了日军的进攻，更一度对日租界展开反攻。日本海军只得于1月31日紧急从本土抽调陆战队增援上海。中国也派出由最精锐的87师、88师和教导总队组成第5军赶赴上海参战，双方在上海展开激战，日军见战局不利，于2月调动陆军第9师团和第12师团在上海登陆投入战斗，最后双方于3月达成停战协定。
“一·二八事变 ” 中的日军上海陆战队
在这场局部战争中，日本海军陆战队的表现显然不尽如人意，但是日本海军还是注意到了这支部队的价值——如果没有这支陆战队，日本在上海的租界很可能在陆军到达之前就被中国军队攻占，那么日军陷入巨大的被动，而且日本数十年来在上海的苦心经营也将付诸东流。
