秦始皇二十六年(前221年) 实行郡县制,设长沙郡,始置零陵县(治今广西壮族自治区桂林市全州县)。西汉汉武帝元朔五年(公元前124年),封长沙王刘发之子刘贤为泉陵侯,置泉陵侯国(治今永州市零陵区)。
汉武帝元鼎六年(公元前111年),析长沙国,始置零陵郡,隶荆州。零陵、营道、泛道、营浦、始安、洮阳、钟武七县和泉陵、都梁、夫夷、舂陵4侯国。
新莽王朝时,零陵郡改名九嶷郡,零陵县治(治今永州市零陵区),隶荆州。
东汉光武帝建武元年(25年),复名零陵郡,改泉陵侯国为泉陵县,将零陵郡治所移至泉陵县(治所在今永州市零陵区),隶荆州。
三国吴,为零陵郡、泉陵县治(治所在今永州市零陵区);分营阳郡,营浦治(治所在今道县)。皆隶荆州。
西晋及怀帝永嘉元年(307年),为零陵郡,泉陵县治(治所在今永州市零陵区),改隶湘州。
东晋安帝义熙十三年(417年),为零陵郡,泉陵县治(治所在今永州零陵区);分营阳郡,营浦治(治所在今道县),改隶荆州。
梁天监十四年(515年),为零陵郡,泉陵县治(治所在今永州市零陵区),分营州永阳郡,营浦治(治所在今道县),改隶湘州。
隋文帝开皇九年(589年)废零陵郡和永阳郡,置永州总管府,府治泉陵县,同年更名零陵县(治今永州市零陵区),隶湘州。从此,永州、零陵一地两名。
隋炀帝大业三年(607年)又改永州总管府为零陵郡,郡治零陵县(治今永州市零陵区),隶湘州。
唐武德四年(621年)废零陵郡,分置永州、营州。武德五年,改营州为南营州。
贞观八年(634年),改南营州为道州。贞观十七年,撤道州并入永州。
上元二年(675年),复置道州。天宝元年(742年),改永州为永州零陵郡,改道州为道州江华郡,改营道县为宏道县。
乾元元年(758年),废郡名,复称永州、道州。广德二年(764年),置湖南观察使,湖南之名自此始,永州、道州属之。
五代后唐明宗天成二年(927年),为永州,零陵县治(治所在今永州市零陵区);分道州,宏道县治(治所在今道县),皆隶江南西道。
宋太祖建隆元年(960年),为永州,零陵县治(治所在今永州市零陵区);分道州,营道县治(治所在今道县),皆隶荆湖南路。
元世祖至元十三年(1276年),改永州路,零陵县治(治所在今永州市零陵区);分道州路,营道县治(治所在今道县),皆隶湖南道宣慰司。
明洪武元年(1368年),改路为府。永州府治零陵县(治所在今永州市零陵区)、道州府治营道县(治所在今道县),隶属湖广行省。洪武九年(1376年),将道州府降为道州,隶属永州府。同年,改湖广行省为湖广承宣布政使司,永州府属之。
清顺治元年(1644年),分湖广承宣布政使司为湖广左承宣布政使司和湖广右承宣布政使司,永州府属湖广右承宣布政使司。
康熙三年(1664年),改湖广右承宣布政使司为湖南省,永州府属湖南省衡永郴桂道。零陵县治(治今永州市零陵区)。
民国2年(1913年),改道州为道县。民国3年,衡永郴桂道改为衡阳道,永州属衡阳道。民国11年(1922年),湖南省撤销道,仅存省、县二级。民国26年(1937年),湖南省划分行政督察区,永州各县属第九行政督察区,行政督察专员公署驻零陵县。民国29年(1940年),湖南省调整行政督察区,原第九行政督察区所属各县改属第七行政督察区。
1949年10~11月,永州地区各县先后被中国人民解放军攻克或实现和平政权更迭,设永州专区,翌年称零陵专区。1952年零陵、衡阳、郴县三专区合并为湘南行政区,并在祁阳县东部析置祁东县。1954年,湘南行政区撤销,原零陵专区所属各县,除新田县划归郴县专区外,其余县全部划归衡阳专区。1955年11月,江华县实行民族区域自治,改称江华瑶族自治县。1956年3月,永明县更名江永县。
1959年3月,新田县并入桂阳县。1961年7月,恢复新田县。1960年6月,零陵县冷水滩镇升格为县级冷水滩市。1962年10月,撤销冷水滩市,改为冷水滩区,仍属零陵县管辖。
1962年12月,恢复零陵专区,专署仍设零陵县芝城镇。原属衡阳专区的零陵县、江永县、道县、宁远县、东安县及江华瑶族自治县和郴州专区所属蓝山县、新田县2个县划入零陵专区。原零陵专区的祁阳县、祁东县2个县划归衡阳专区。1964年5月,划零陵县、道县的12个公社和9个国营林场,设置潇水林区管理局。1968年零陵专区更名零陵地区。1969年12月16日,经国务院批准,撤销潇水林区管理局,设立双牌县。1983年2月,祁阳县重新划归零陵地区管辖。1984年6月,撤销零陵县,设立县级永州市、冷水滩市。
1995年11月,撤销零陵地区和县级永州市、冷水滩市,设立地级永州市,永州市人民政府驻新设立的芝山区(即现零陵区)。此时,地级永州市辖祁阳县、新田县、道县、蓝山县、东安县、双牌县、宁远县、江永县、江华瑶族自治县和芝山区、冷水滩区。
2000年5月,国务院正式批准将永州市人民政府驻地迁往冷水滩区。2005年6月,永州市芝山区复名零陵区,行政区域不变,区政府驻地不变。