曼德拉伪装成司机，微服出巡全国各地，组建非国大的新型细化架构并筹划5月29日的大型不出门罢工抗议活动。警方下令拘捕“黑花侠”（当时的曼德拉被称为“黑花侠”，套用自埃玛·奥希兹1905年发表的以法国大革命为背景的历史冒险小说《红花侠》）。曼德拉与记者们秘密会面，并且在政府阻止罢工失败后向政府发出警告称，很多反种族隔离积极分子不久后将通过泛非大的武装力量“波可”（Poqo，意为“非洲真正的主人”）等组织诉诸于暴力。他认为非国大应成立一支武装团队以引导其中一些暴力起义，并说服在道义上反对暴力的非国大领袖艾伯特·卢图利以及同盟的积极分子团体这么做的必要性。 受菲德尔·卡斯特罗在古巴革命中所领导的七二六运动的启发，曼德拉于1961年与担任南非共产党主席多年的乔·斯洛沃以及瓦尔特·西苏鲁共同创立了“民族之矛”武装组织。成为这一激进组织的主席后，曼德拉从毛泽东和切·格瓦拉所写的关于游击战的禁书中汲取经验。民族之矛正式脱离非国大，后来成为非国大的武装联盟。大多早期的民族之矛成员是支持共产主义的白人；曼德拉在沃尔菲·科迪什（Wolfie Kodesh）于伯利尔的公寓里藏了一段时间后，迁到一个位于利弗尼亚的属于共产党员的利里斯里夫农场。雷蒙德·莫翰拉巴（Raymond Mhlaba）、斯洛沃和伯恩斯坦也到这里会合，并共同整理了民族之矛的章程。虽然曼德拉否认曾加入南非共产党，但2011年发表的历史研究表明他从50年代末或60年代初起很有可能曾经加入了共产党一段时间。这一点在曼德拉死后得到了南非共产党和非国大的确认。据南非共产党称，在曼德拉1962年被捕时，他不仅是党员，还在党的中央委员会任职，但出于政治原因否认了这一点。

民族之矛以其细化架构的方式运作，采取破坏公共设施的行动，最大限度地对政府施压，同时尽量减少人员伤亡。破坏行动包括在夜深无人时炸毁军事设施、发电站、电话线路和运输系统。曼德拉称他们这么做不仅因为这是危害最小的方式，而且“因为这样不会导致人员死亡，并有利于以后种族间的和解”。他还指出“我们给民族之矛的成员下达严厉的命令，不支持危及生命的行为”，但如果这些策略都失败了，民族之矛将采取“游击战和恐怖主义行动”。非国大领袖卢图利获得诺贝尔和平奖不久后，民族之矛对外公开其存在，于1961年的和解日（12月16日）进行了57次轰炸，并在除夕发动又一轮攻击。 非国大同意派曼德拉代表组织到埃塞俄比亚的首都亚的斯亚贝巴参加1962年2月的东非、中非和南非泛非自由运动组织（PAFMECSA）大会。曼德拉秘密前往埃塞俄比亚，在会上会见了海尔·塞拉西一世并在塞拉西之后发表了讲话。会后，他到了埃及的开罗，借鉴了贾迈勒·阿卜杜·纳赛尔政治改革经验；随后到了突尼斯的首都突尼斯，该国总统哈比卜·布尔吉巴给他支助了5000英镑军备费用。他还到了摩洛哥、马里、几内亚、塞拉利昂、利比里亚和塞内加尔，接受了利比里亚总统威廉·杜伯曼（William Tubman）和几内亚总统艾哈迈德·塞古·杜尔的资金支持。随后，他从非洲到了英国伦敦，会见了反种族隔离的积极分子、记者和著名的左翼政治家。从英国返回埃塞俄比亚后，他开始学习为期六个月的游击战课程，但仅进行了两个月就被召回南非。