南非的新宪法于1996年5月被议会通过，当中赋予一系列机构在立宪制民主的范围内监督政治和政府机构的权利。德克勒克反对推行该宪法，为表示抗议，他退出了联合政府。非国大接替了以前由国民党担任的职位，姆贝基成了唯一的副总统。有一次，曼德拉和姆贝基都不在国内，布特莱齐被任命为“代理总统”，标志着他和曼德拉的关系有所好转。

曼德拉于1997年12月的会议上辞去非国大主席一职，虽然他希望拉马福萨能接替他的位置，但非国大选举了姆贝基为主席；曼德拉承认当时姆贝基成了“实际上的南非总统”。曼德拉接替姆贝基担任副总统，他和执行会都支持候选雅各布·祖玛。祖玛是祖鲁人，曾在罗本岛坐牢，维尼向他发出挑战；虽然维尼凭着平民路线在党内拥护者众多，但祖玛在大选中取得了压倒性胜利，维尼最终败下阵来。

曼德拉和马歇尔关系越发亲密；1998年，他公开宣布称“我爱上了一位非凡的女子”。他的好友德斯蒙德·图图敦促他为年轻人树立榜样，如此压力下，曼德拉在7月的80岁寿辰上正式与马歇尔完婚。婚礼的第二天，他又大摆筵席，宴请很多国外的显要人物。1996年宪法规定，总统最多只能连续连任两届，每届5年任期。曼德拉并没有试图修改这一条规定；事实上，他从没打算连任总统。1999年3月29日，他作了告别演说后便退休了。