１９２８年５月１日，北伐军队进入济南。
５月３日，北伐军宣传员在济南魏家庄贴标语，日兵无理阻挠，开枪射击，造成数人伤亡。同日，有一中国士兵徒手经过日军警备区域，因语言不通与日兵发生误会，日兵开枪将其击毙。各地日兵闻枪声，亦纷纷放枪射击。
５月３日，国民党战地委员会外交处长兼山东特派交涉员蔡公时遵照战地委员会命令，于上午８时率领职员到交涉团接事办公。晚９点，３０多名日本军闯进交涉署掳掠，将国民党青天白日旗和孙中山先生遗像统统撕毁，将外交文件弃置满地。蔡公时用日语向彼理论。日军不待蔡说完，用枪托将蔡打翻后，遂将全署２８人一齐捆绑，拉到院内场地，撕去所有衣服毒打，用刺刀乱戳乱砍。
一个日本士兵将蔡公时的两耳割掉，蔡公时大喊：“日本人杀我！日本人对我如同古时氏族社会对待俘虏的办法割耳朵、挖眼睛来对我！”日本兵转过去杀被捆的其他外交官员。杀完之后，再回来将蔡的鼻子割下，其他日本兵在旁狞笑欣赏。折磨一个多小时，才将蔡公时枪毙，全署２８人皆遭惨杀。４日凌晨，国民党政府派熊式辉前往交涉，日军条件苛刻。此后又先后派赵世煊、王正廷、崔世杰与日军交涉，并请英、美驻济南领事馆调停，均无效。８日，日军炮轰济南。９日，猛攻济南城门。１１日，中国军队被迫退出济南。日军入城后又肆意屠杀居民。在整个惨案中，中国军民死亡３２５４人，受伤１４５０余人。