东晋孝武帝时,谢玄任广陵(今江苏扬州)相,招募徐兖二州骁勇所组成的一支精锐军队。《晋书·刘牢之传》:“谢玄北镇广陵,时苻坚方盛,玄多募劲勇,牢之与东海何谦……及晋陵孙无终等以骁猛应选。玄以牢之为参军,领精锐为前锋,百战百胜,号为北府兵。”淝水之战即以此军为主力。