1950年3月，曼德拉取代旭玛在非国大全国执行委员会的位置。同月，捍卫言论自由大会于约翰内斯堡召开，聚集了非洲人、印第安人和共产主义积极分子，呼吁进行一次反种族隔离大罢工。曼德拉反对该罢工，因为这不是非国大领导的。但大部分黑人劳工参与其中，导致了越来越多的警方镇压和1950年《反共产主义法》的推行，影响了所有抗议组织的行动。1950年，曼德拉当选非国大青年联盟的全国主席；在1951年12月的非国大全国大会上，他继续坚持反对组建种族统一战线，但遭多数票否决。从那以后，他完全改变了原来的观点，开始支持种族统一战线的做法；受摩西·考塔尼（Moses Kotane）等朋友以及苏联支持独立战争的影响，曼德拉也开始相信共产主义。他开始受到卡尔·马克思、弗里德里希·恩格斯、弗拉基米尔·列宁、约瑟夫·斯大林和毛泽东等人的理论的影响，接受辩证唯物主义。1952年4月，曼德拉开始到海尔曼·迈克尔律师事务所工作，但是他对工作和政治行动的不断投入意味着与家人一起的时间更少了。1952年，非国大着手准备一场与印第安人和共产主义者联合的反种族隔离不服从运动，成立了一个全国志愿者委员会招募志愿者。受甘地的影响，该运动决定采取非暴力抵抗的形式。有人认为这是伦理的选择，但曼德拉却认为这是实用的做法。6月22日在德班的集会上，曼德拉向聚集的10,000名群众发表演说，宣布抗议运动开始。曼德拉因此被捕并在短时期内软禁于马歇尔广场监狱。随着更多抗议的举行，非国大的成员由20,000增加至100,000名；政府的回应是实施大规模拘捕，提出1953年《公共安全法》以推出戒严令。5月，政府当局禁止德兰士瓦省非国大主席马克思（J. B. Marks）公开露面；由于无法继续任职，他举荐曼德拉为继任者。尽管极端泛非主义的巴法贝吉亚群体反对曼德拉的候选资格，他还是于10月份当选了地区主席。 1952年7月30日，曼德拉因触犯《反共产主义法》被捕，包括曼德拉在内的21名被告（其中还包括莫洛卡、西苏鲁和南非印第安人大会领袖达度）在约翰内斯堡法庭受审。最终，他们的“反共”罪名成立，被判服9个月苦役并缓刑2年。12月，曼德拉被下禁令六个月内不能出席会议或与多于一人以上的群体谈话，使他无法执行主席职务。不服从运动逐渐消停。1953年，安德鲁·库内内（Andrew Kunene）在德兰士瓦省非国大会议上朗读曼德拉的“自由路漫漫”演讲；该讲题援引自印度独立运动领袖贾瓦哈拉尔·尼赫鲁所讲过的一句话，尼赫鲁对曼德拉的思想产生了巨大的影响。演讲中列出了一套以防非国大遭禁的应变计划。这个曼德拉计划，或称为M计划是把整个大会拆分成各个领导力更集中的细化组织。曼德拉通过了资格考试，成了完全合格的律师。他先是在特巴兰奇与布里吉斯士律师事务所工作，后到自由主义者经营的海尔曼·迈克尔律师事务所工作。1953年8月，曼德拉和奥利弗·坦博在约翰内斯堡市中心开了一家名为“曼德拉与坦博”的律所。这是国内唯一一家非洲人开的律所，很多愤愤不平的黑人到此求助，律所经常处理警方施暴案件。由于遭到政府当局的反感，律所的办公室许可证根据《种族分区法》被撤销，律所被迫迁往较偏僻的地方；因此，律所的客户日渐减少。曼德拉的次女玛卡齐薇·芙米娅（Makaziwe Phumia）于1954年5月出生。尽管如此，曼德拉和伊芙琳的关系僵化，而且伊芙琳指控曼德拉通奸。有证据表明，曼德拉与非国大成员莉莲·恩戈（Lillian Ngoyi）以及秘书鲁思·莫帕蒂（Ruth Mompati）有奸情；不断有传言称后者怀了曼德拉的孩子，但该传言未经证实。曼德拉的母亲诺塞凯尼对他的行为心生厌恶，回到了特兰斯凯。伊芙琳信奉耶和华见证人，不能接受曼德拉沉迷于搞政治。