连南瑶族自治县境域，是1953年由阳山县辖的寨岗汉区、连县的三江汉区和原连南县所辖的3个瑶区组成。究其历史，连南设县，始于1946年。在这之前，领属辖地几经变更。连南地域，春秋战国时期属楚国，秦朝属长沙郡，汉朝属桂阳郡，三国、晋朝属始兴郡，南北朝属阳山郡，隋朝属熙平郡，唐朝、宋朝属连州，元朝属连州路，明朝属连州，大历三年（768）属广州。至清康熙四十二年（1703），在三江城设理瑶同知，专理瑶务，属广州府，行政区域分属连县（今连州市）、连山县、阳山县管辖。清雍正七年（1729），改理瑶同知为理瑶军民直隶同知，仍属广州府。清嘉庆二十二年（1817），又改理瑶军民直隶同知为连山绥瑶军民直隶同知，官府迁往连山县（今连山壮族瑶族自治县太保镇旧城），此时连山县改为连山绥瑶直隶厅。

　　1912年，连山绥瑶直隶厅复改为连山县，县府内设“瑶务处”，管辖瑶族地区。1927年，设“连阳化瑶局”，隶属广东省国民政府。次年分置三江、寨岗、太保3个办事处，综理瑶务。但民事刑事案件仍分属连山、连县、阳山三县处理。1935年5月改“连阳化瑶局”为“连阳安化管理局”，局址驻连州，管辖瑶区。民国28年（1939）迁入三江城。民国35年（1946）三月，撤连阳安化管理局，置连南县，县府驻三江城，统辖瑶区。当时设3个区、20个乡、94个保，连南之名第一次出现。

　　中华人民共和国成立后，于1950年5月16日，成立连南县人民政府，县府驻三江，辖瑶区。1953年1月25日，连山、连南两县合并，成立连南瑶族自治区（县级），把原连县的三江地区和阳山的寨岗地区划入自治区版图。1954年3月，原连山辖地划出，恢复连山县建置。1955年6月，连南瑶族自治区改称连南瑶族自治县。1958年12月，与连县、连山、阳山县合并为连阳各族自治县，县府设在连州镇。1960年10月，阳山县划出后，连阳各族自治县改称为连州各族自治县。1961年10月，撤销连州各族自治县，恢复连县、连山县、连瑶族自治县建置，属韶关地区管辖。1983年地、市合并后，由韶关市辖；1988年1月划入清远市管辖。