《史记》和前后《汉书》均载楚将庄在攻克了夜郎并远至今云南境内“以兵威定属楚”之后，“欲旧报。会秦击夺楚巴、黔中郡，道塞不通，因还，以其众王滇。”这便是《史记·秦本纪》所载的秦昭襄王“二十七年（前280）……又使司马错发陇西，因蜀攻楚黔中，拔之”。这里所说的“楚黔中”，郡治就在今湖南省沅陵县，与新晃同属于今怀化市。
本来，如若以常理度之，当楚军远走之后，夜郎部族正可乘机重整旗鼓，但在强大的秦军面前，连楚军都不能立足，遑论夜郎本来就不是一个国家，也没有一支职业的军队。加上人口日繁，“畲山为田”，需要不断地寻求耕地。在安全感已日趋受胁之际，更促使部族中有一部分开始西徙，有些青壮年则可能在遭楚军攻击时就已经逃了。从当时所处的地理位置只有一条向西的路可走，加上在迁徙过程中和日后的生产、生活都必须傍水，因而同属于水流域的今贵州东部就成了最初向西南发展的活动地区。今贵州福泉县乃水的源头，这也是后来汉代与西晋在此置故且兰与且兰县的依据。新版《辞源》的说法是准确的，大率出自以郑珍《牂牁十六县问答》为依据的民国《贵州通志·舆地志·沿革考》。
自此后至公元前百年的近二百年间，由于西南“夷地”相对地为中原王朝所无暇顾及（庄能以其众王滇便是明证），夜郎部族随着其自身的壮大及与一些小部族联盟，活动的范围便愈来愈广。但所至之处或停留不久或留下一部分又分头继续迁徙，并非有目的地扩大疆土，因而现在也很难划定它的活动范围，以致今日除了湖南与贵州外，还有云南、四川、广西都有县市称是夜郎故地，只要言之有据，原是很自然的。
然而可以肯定的是，当时并没有一个疆域很广的大夜郎国。即使在汉元封二年（前109）绶王印时，朝廷也只厚赠缯帛而并无封地，行政权都掌握在朝廷任命的地方长官手中，与汉初郡国制并行的“国”完全是两回事。
设想夜郎国曾经很大的误会源于《史记》与《汉书》中所转述的唐蒙上奏汉武帝的那一番话，诸如“窃闻夜郎部所有精兵，可得十余万，浮船出牂牁江，出其不意，此制越一奇也”、“牂牁江广数里，出番禺（今广州市）城下……夜郎者，临牂牁江，江广数百步，足以行船”之类，皆是唐蒙“风晓指南越”（又作南粤，今两广地）和回到长安后道听途说来的，矛盾百出，全属子虚乌有。实际上，唐蒙自己在当时连夜郎的方位都没有搞清楚，当汉武帝听了他的话派他去时，他率领一千兵卒加后勤队伍万人，茫然地至今四川汉源又几经绕道方才寻到所传说中的一处夜郎部族。后来为了要修通这条“夷道”，又“数岁，道不通。士罢饿餧，罹暑湿，死者甚众。”可知在这之前，长安的商人也肯定不曾去过，又何以知道“独蜀出枸酱，多持窃出市夜郎”？好像夜郎真有一个大都市似的，而且与今广州市直接通商，纯属是天方夜谭罢了。
关于唐蒙所至的那个“夜郎国”的人口，我们现在只要从《汉书》的《地理志》中便可得知。当汉元鼎六年（前111）置牂牁郡时，连同故且兰与夜郎县在内共17个县，总计才“户二万四千二百二十九，口十五万三千三百六十”。平均一个县不足万人，即使全部加到夜郎头上也无论如何不能组建一支10余万人的军队，更不用说需要有多少人耕织才能养活他们。
实际上这一问题我们在《汉书》转述唐蒙讹语的同一篇《西南夷两粤朝鲜传》中就已经有答案了。那就是在河平二年（前27），夜郎王兴与钩町王等联反，牂牁太守陈立率从吏数十人至夜郎且同亭去召见兴，兴带数千人与从邑君数十人前往，陈历数其罪状，立即就将他杀了。接着夜郎王的岳父翁指率部为兴报仇，22个邑君全部参加了，朝廷并没有派出大军，仍只是由郡守陈立领兵应战，很快也以翁指为其部属所杀而告终。可知夜郎国在当时能召集起来的也就是几千人，更谈不上有什么很强的战斗力，整个夜郎国老幼加起来有多少人也就可想而知了。
然而，这并不是说其时整个夜郎部族都已在那里集中。正如前面已一再提到的，夜郎本是一个迁徙的部族而不是国家，其发源地和分散在各地的后代们此后还继续其部族的存在，留下的传说也很多，但始终没有形成一个夜郎民族。
