1982年4月，曼德拉与其他非国大高层领导瓦尔特·西苏鲁、安德鲁·穆兰杰尼（Andrew Mlangeni）、艾哈迈德·拉特拉达（Ahmed Kathrada）、雷蒙德·莫翰拉巴一起被转移到了开普镇托开区的波尔斯穆尔监狱；他们认为这么做是为了消除他们对年青一代积极分子的影响。虽然曼德拉想念罗本岛上的风景和那里的同志情谊，但波尔斯穆尔的条件比罗本岛要好。曼德拉和波尔斯穆尔的狱官布莱格迪尔·蒙罗（Brigadier Munro）相处得很好，被准批建立一个屋顶花园，而且如饥似渴地阅读，并进行广泛的书信来往，现阶段批准每年52封信。他被任命为多种族民主统一战线（UDF）的主席，该组织的宗旨是对抗南非总统波塔所推行的改革。波塔的国民党政府允许有色人种和印第安人公民投票选举属于他们种族的议会，对教育、卫生和住房有控制权，但黑人被排挤在这一体系之外；在UDF和曼德拉看来，这是企图制造种族分歧，分裂反种族隔离运动。

全国各地的暴动激增，很多人担心会爆发内战。迫于国际游说团体的压力，跨国银行停止注资南非，导致经济停滞。当时曼德拉的国际声誉正值顶峰，多家银行要求波塔释放曼德拉，以缓和动荡的局面。虽然波塔认为曼德拉是危险的极端马克思主义分子，1985年2月，波塔提出如果曼德拉“绝对摒弃以暴力行动为政治武器”的话，就可以把他释放。曼德拉轻蔑地拒绝了这个机会，由女儿辛德兹替他发表了一段声明：“在人民的组织（非国大）仍然遭禁的情况下，我获得的算是什么自由？只有自由人可以谈判。一个囚犯之身是不能签订协议的。”

1985年，曼德拉因前列腺肿大而动手术，手术后被安排住进一楼的单独房间。国际代表团派了“七位显赫人士”与曼德拉见面，谈判和解事宜，但波塔的政府拒绝合作，在6月时宣布进入紧急状态并动用警力镇压骚乱。反种族隔离势力进行反击，非国大于1986年发动了231次攻击，1987年发动了235次。政府利用军队和右翼准军事组织的力量打压反抗运动，并秘密资助祖鲁民族主义运动“因卡塔自由党”攻击非国大成员，使暴力事件进一步升温。曼德拉要求与波塔进行会谈，但波塔回绝了；曼德拉改为与司法部长科比·库切(Kobie Coetsee)于1987年秘密会面，并在接下来三年进行了11次会议。库切组织了曼德拉和一组四人的政府官员自1988年5月起进行谈判；小组同意，如果非国大永久性地摒弃暴力，切断与共产党的联系并不再坚持多数民族统治原则，就可以释放政治囚犯以及给予非国大合法地位。曼德拉拒绝了这些条件，坚持只有政府放弃暴力，非国大才会结束武装斗争。

1988年7月曼德拉的70岁寿辰吸引了国际的关注，尤为引人注目的是在伦敦温布利球场举办的纳尔逊·曼德拉70岁寿辰致敬音乐会。曼德拉虽然在国际上树立了英雄的形象，但他面临着一些私人问题。非国大的领导告诉他，维尼自封成为一个犯罪团伙“曼德拉统一足球会”的会长，在索韦托折磨并杀害包括儿童在内的对手。尽管有人劝他与维尼离婚，但他在维尼被判正式有罪之前一直对她保持忠诚。