在大学里,鲍威尔的学习和体育成绩一直平平,对工程也没有多少兴趣,整日看电视,特别爱看类似于相声的节目,或者读和自己专业没有关系的书。不过鲍威尔很快在平淡的大学生活中找到了自己的位置,加入了后备军官训练团,成为名为“潘兴步枪会”的军事组织的成员,穿上了军装,从此改变了自己的人生轨迹。
加入后备军官训练团也使鲍威尔能从大学毕业,因为他的学习成绩都是不能毕业的“C”,而后备军官训练成绩都是“A”。1958年夏,鲍威尔大学毕业,这时有位现役军官对他说:“如果你干得好,也没有犯错,20年后我们就让你当中校。”抱着当中校的想法,鲍威尔于1958年6月宣誓参加了美国陆军。
鲍威尔从军后被派到佐治亚州的本宁堡受训,在训练和工作中吃苦耐劳,谈吐幽默,处事公正,富有感染力和组织能力,很快在不同肤色的同伴中建立了威信。此时虽然美国政府和军队已经严令禁止军队中有种族歧视的行为,但在纽约大都市长大的鲍威尔却在这个原来的南方蓄奴州的一家乡间酒吧里领教了种族歧视的滋味。他的白人朋友愤然要砸这家酒吧。鲍威尔心里暗下决心,要干出些成绩,让这些愚蠢的人看看。几个月后被授予少尉军衔的鲍威尔动身前往联邦德国,在巴伐利亚附近美国第3装甲师的一个步兵营里当排长。