北凉主沮渠蒙逊，临松(在今甘肃张掖南)卢水胡。卢水即今黑河。沮渠是匈奴的官名，据说沮渠蒙逊的祖先做过匈奴左沮渠这个官，所以以官名为氏。沮渠氏“世居卢水为酋豪”，蒙逊的祖父沮渠祁复延，封狄地王；蒙逊的父亲法弘，被苻秦任为中田护军。“蒙逊代父领部曲，......为诸胡所推服”(《宋书·氏胡传》。这里应该指出两点:一是卢水胡虽然很早就居住在河西走廊的黑河流域，但由于他们还是过着游牧的生活，所以一直到十六国时期，还维持其部落组织，沮渠氏就是这个部落组织的酋长；二是从卢水胡的姓名看来，如晖仲归、祁复延、罗仇、麴粥、蒙逊、日蹄、颇罗、牧犍(《宋书》译作“茂虔”)这些字音，他们肯定保着自己的部落语言，可是既然长期和汉人错居，必定娴习汉语，像沮渠蒙逊不仅通晓汉文，而且“博涉群史”(《晋书·沮渠蒙逊载记》)。卢水胡沮渠部落的社会发展阶段及其经济文化生活和汉化程度，大概仅次于氏苻氏、羌姚氏(他们都居住在关东近二十年之久)，而要远远高出于鲜卑乞伏氏、秃发氏。
卢水胡的分布地区虽然很广，安定(今甘肃泾水北)、杏城(今陕西中部西南)都有他们的足迹，但河西走廊的张掖郡一带，是他们集中居住的地方。居住在张掖的这个部落，在十六国云扰时期，为了要保卫本部落，经过武装过程，逐渐形成为一支武装力量。割据河西走廊的吕光、段业，都想支配这支武装力量。公元397年，后凉主吕光命其子吕纂率领张掖卢水胡部帅沮渠罗仇伐西泰，光弟吕延战死。吕光委罪洱渠罗仇，杀罗仇及其弟麴粥。沮渠蒙逊是罗仇的侄儿，他那时在姑臧“自领营人配厢直”(《宋书·氐胡传》),担任宿卫工作。罗仇和麴粥被杀后归葬临松，卢水胡诸部前来送葬的有一万多人。蒙逊遂与诸部结盟起兵，攻下凉临松郡，屯据金山(在今甘肃山丹西南)。这时，沮渠蒙逊的堂兄沮渠男成也聚众数千反凉。他们共推后凉建康太守段业为凉州牧、建康公。不久，段业进据张掖，自称凉王。