Перший політ дослідно-серійного бомбардувальника Кі-21 відбувся в кінці 1936 року. Серійне виробництво його першої модифікації Кі-21-Іа почалося в 1938 році, в тому ж році відбувся бойовий дебют літака. Авіаційні підрозділи Імператорської армії Японії, які були оснащені Ki-21-Ia, брали участь в активних бойових діях в Китаї. Навесні 1939 року Кі-21-Іа брав участь у бойових діях проти Червоної Армії на річці Халхін Гол. Бойова вага літака в 1000 кг була хорошим показником свого часу і дозволяла наносити масовані бомбардувальні удари, а тактика оборони, розроблена пілотами цих бомбардувальників в повітряних боях, призвела до їх досить низьких втрат в порівнянні з іншими типами літаків. Після випуску більш досконалих моделей перші модифікації бомбардувальників були передані у навчальні частини, хоча деяка кількість Кі-21-Іа продовжувала експлуатуватися бойовими частинами. Американські пілоти, які дали японським літакам власні назви, називали бомбардувальники Кі-21 «Саллі».