哈尔滨市第三中学成立于1923年10月，初名为中东铁路普育学校，由督办王景春创建，校址在南岗原莫斯科商场第二号房（现省博物馆内）。

1926年8月，被东省特别区教育局接管。

1927年，改称“东省特别区第三中学”。

1928年，学校迁往南岗区果戈里大街415号老校区校址。“九·一八”事变后，校址被日伪第四军管区占用，第三中学并到道外区景阳街的“第二中学”，先后改名为“东省特别区区立师范”、“第二中学”、“第三中学”、“滨江省立哈尔滨市第三国民高等学校”。

1946年，“四·二八”哈尔滨解放后，改名为“松江省立第二中学”。

1954年3月，迁回现址，校名改为“哈尔滨市第二中学”。并被定为哈尔滨市重点中学。

1964年，校名恢复为“哈尔滨市第三中学”。

1978年，被正式确立为黑龙江省省级重点中学。

1995年，学校与哈尔滨松雷集团合作，建立哈尔滨市松雷中学。

1999年，学校民办公助校三发中学成立。

21世纪初，学校在哈双公路附近建立新校区，2002年秋季落成并正式启用。