玄武湖的歷史最早可追溯到距今2220多年前的先秦時期。從公元前221年的先秦到西漢玄武湖分別稱作秣陵湖、蔣陵湖。南朝時，玄武湖進入它在歷史上的鼎盛時期。出于帝王都“四神布局”的需要，又由于宋元嘉年間湖中兩次出現(xiàn)所謂的“黑龍”，湖名開始改為“玄武”。從東晉到梁代，玄武湖先后有過昆明湖、飲馬塘、練湖、習(xí)武湖、練武湖等名稱。隋唐以后，玄武湖隨著都城的北移，逐漸衰落下來。 

 到明朝玄武湖的命運再度發(fā)生變化，明洪武十四年（1381年），朱元璋選中玄武湖作為明朝中央政府黃冊的存放地，建后湖黃冊庫（相當(dāng)于現(xiàn)在的中央檔案館）。玄武湖從此作為一代禁地，與外界隔絕了二百六十多年。明亡以后，玄武湖重新對外開放，清朝的皇帝康熙、乾隆均曾來此游歷并留下詩詞。清朝同治以后，玄武湖有了一些園林建筑，其兩江總督曾國藩在梁洲重修湖神廟，并增建湖心亭、大仙樓、觀音閣、賞荷廳。后清大臣左宗棠還修筑了連通孤凄埂與梁洲的長堤，解決了游玄武湖“必自太平門出，令舟而行”的不方便狀況。清宣統(tǒng)元年（1909），端方、張人駿開辟豐潤門（今玄武門），筑新堤，擴大湖內(nèi)綠地，徐紹楨又建陶公亭及湖山覽勝樓。 進入民國，玄武湖開始有了相應(yīng)管理機構(gòu)，1928年9月又改園名為“五洲公園”。1934年4月，重改“五洲公園”為“玄武湖園”，綠地面積進一步擴大，花卉品種增多，一批建筑如玄武廳、諾那塔、 凇滬抗戰(zhàn)紀(jì)念塔等先后落成。 解放以后，人民政府對玄武湖進行了大規(guī)模的擴建改造，遷出湖民，廣植花草，多增景點，面貌全新。