瑶族先民，一般认为是秦汉时长沙、武陵蛮的一部分，或说源于“五溪蛮”。

公元前3世纪到公元2世纪，其先民主要生活在湖南北部；5-6世纪时，向北迁；13-17世纪，他们被大量南迁，广东和广西成为他们的主要居住区。17世纪，部分瑶族人又从广东、广西分别迁入贵州和云南的南部山区，形成了今天的分布。