張公山系涂山山脈,涂山一帶曾是原始社會后期涂山氏居住的地方。涂山腳下的禹會村,傳說是當年治水英雄大禹會諸侯之地,作為行政村村名屬全國唯一,這里至今流傳著大禹治水三過家門而不入的動人故事。
張公山是歷史文化名山涂山山脈的組成部分,有著悠久的歷史,據《懷遠縣志》記載:明朝嘉靖年間此山就叫張公山,山下一湖,名化陂湖,現更名為張公湖。相傳,明朝有個張姓戰將,解甲歸田,隱居山下,由于他德高望重,當地百姓尊稱張公,張公山因此得名。
清朝,張公山頂建有寺廟,每年還有一次初春廟會。該廟原名“寺山廟”,后改名“中岳廟”,又改為“觀音廟”。由于廟的基礎南高北洼,廟門朝北,當地百姓又稱之為“倒座觀音廟”。
民國27年(1938年)日軍侵占蚌埠后,寺山廟遭到徹底毀壞。
1973年,蚌埠市政府決定利用張公山與化陂湖的自然風景和優美環境,將此山辟為公園,1975年建園工程全面開工。1983年7月1日,張公山公園正式對外開放。
從1986年以來,張公山公園各項基礎設施和景點建設日益完善。先后建成了湖濱餐廳、水榭長廊、園中園、望淮塔、兒童樂園、月季園、動物園等。
2009年被國家旅游局授予國家AAAA級風景區稱號。
2012年,經蚌埠市政府會議研究,由城投公司承擔資金保障工作對張公山景區進行提升改造。