1903年(光绪二十九年),沂州府知府胡建枢于兰山县琅琊书院旧址设立沂州官立中学堂,郭学濂任监学。初期学制为5年,只设普通班。
1909年,增设文、实两科。
民国建立,改为4年制初级中学。
1913年学校改名为山东省立第十中学,翌年,改称山东省立第五中学。至1923年,该校共招生20个班,每班三四十人不等。
1923年,新任校长赵录翰仿照美国实行新学制,初中3年,语文增加白话文,修身改为公民,体操改为体育。庞信一主持校政时(1926~1928年),多有劣行,加之方永昌部在校内驻兵,学校受损甚重,在校学生仅剩57人。
1928年由徐眉生接任校长,整理校务。将僧王庙、洗砚池、南大寺一并划归五中,扩为4个大院,占地359.67公亩,房屋269间,教室、宿舍、餐厅、浴室、礼堂、图书室一应俱全。
1930年秋,学校始招高中班。翌年,中共党员刘德生(刘盛华)考入五中,于次年建立中共五中支部。
“九·一八”事变后,支部因领导组织抗日救亡活动被韩复榘破坏,党员骨干被迫离校,徐眉生愤而辞职。
1934年2月,学校改为山东省立临沂中学,时有3个高中班,9个初中班,417名学生。
1937年12月29日,学校奉命南撤。
1947年底,刘承颁回临沂“复校”。3个月后,即随军队南逃至安徽湾止镇,改称山东省立第四临时中学。
1949年4月,学校解体。