青島海軍學校的前身是于1923年4月成立的東北航警學校，由奉系軍閥張作霖創立，其目的是培養艦艇專業軍士和水兵。航警學校設立初級軍官班和學兵班，軍官班招收高中生，學制三年，實習一年，畢業后授予少尉軍銜；學兵班招收16歲以上高小畢業生入校，校訓、艦訓共兩年。

東北航警學校共畢業兩屆軍官班，其中航海班48名，輪機班38名；學兵班8期共畢業1500人，大多分配到東北海軍各艦任職。

1928年12月，張學良宣布易幟歸屬南京國民政府后，東北航警學校改屬國民政府軍事委員會東北行營管轄。1930年，改名為葫蘆島海軍學校。

1931年九一八事變后，葫蘆島海軍學校遷到威海衛劉公島，隸屬于南京國民政府軍事委員會北平分會。同年冬，學校又遷至青島，并改名為青島海軍軍官學校。

隨后，青島海軍軍官學校學制發生重大變革，招收初中畢業學生，學生年齡限為16歲，學制延長為6年，分為預科、本科各半，航海、輪機并習，不分科別，并正式命名為“海軍將校學生班”；學生錄取后必須先到軍艦見習一年，身體適應海上生活并復考及格者方能入校。

1937年，青島海軍軍官學校直接隸屬于國民政府軍事委員會，改為全國統一招生，招收對象為高中畢業生，學制為4年。抗日戰爭全面爆發后，青島海軍學校師生與艦隊官兵把軍艦上的槍炮拆下，進入魯中地區打游擊戰。

1937年11月，青島海軍學校遷至湖北宜昌，1939年10月又遷至四川萬縣獅子寨，在此期間，馬尾海校、黃埔海校和電雷學校并入，師資力量得到充實，共有學員300多名，分為航海甲班、輪機甲班、航海乙班、航海丙(一)班、丙(二)班、輪機丙班共6個班。由于當時海軍艦艇在和日軍的戰斗中損失殆盡，所以學生實習只能在工廠和商船上進行。

甲班學生于1940年9月畢業，乙班和丙班同時于1941年3月畢業，也統稱乙班。五期學生全部畢業和分配工作后，這年底，青島海軍軍官學校宣告關閉。