2004年6月，曼德拉85岁，身体每况愈下，他宣布“正式隐退”，淡出公众视线，当时他说“请勿找我，有事，我会找你”。他还会与挚友、家人见面，但基金会尽量不再邀请他出席公众活动，并回绝大部分采访邀请。

他仍参与一部分国际事务。2005年，他成立了纳尔逊·曼德拉遗产信托基金，远赴美国，向布鲁金斯学会和全国有色人种促进协会讲述非洲的经济援助需求。他与美国参议员希拉里·克里顿以及布什总统交谈，并首次会见了当时还是参议员的贝拉克·奥巴马。随着津巴布韦的人权侵犯越来越严重，曼德拉还劝说津巴布韦总统罗伯特‧穆加贝辞职。但穆加贝不听劝，随后曼德拉于2007年公开谴责穆加贝，让他趁着“还有一点名誉和尊严”下台。同年，曼德拉、马歇尔和德斯蒙德·图图召集世界各国领导人到约翰内斯堡，号召他们发挥才智和各自的领导力，应对当今世界上最难以处理的问题。曼德拉在他89岁寿辰的讲话上宣布成立“国际元老集团”。

2008年7月18日，举国上下庆祝曼德拉的90岁寿辰，主要的庆祝活动在库努村举行。另外，伦敦的海德公园举办了一场以曼德拉为名的音乐会。在庆生演讲中，曼德拉呼吁世界上的富人帮助穷人。在姆贝基担任总统期间，曼德拉一直支持非国大，但在两人共同出席的公共活动上，曼德拉经常夺去了姆贝基的风头。曼德拉与姆贝基的接任者雅各布·祖玛相处得更融洽，但曼德拉的孙子曼德拉·曼德拉在2009年一场风暴期间让他飞往东开普参加一场支持祖玛的政治集会，让纳尔逊·曼德拉基金会十分担心。

2004年，曼德拉说服让南非主办2010年世界杯足球赛，他说这是给种族隔离制度结束十周年“最好的礼物”。南非得到世界杯主办权后，曼德拉激动地举起了世界杯足球赛的奖杯。由于身体不适，曼德拉在世界杯期间保持低调，但他在闭幕式上最后一次公众露面，受到了“极其热情的接待”。2005年至2013年间，曼德拉，后来连他的家人一起被卷入了一系列遗产分配的法律纠纷中。2013年中，曼德拉在比勒陀利亚因肺部感染住院时，他的子孙为了争议曼德拉后代以及曼德拉本人的埋葬地展开了一场家庭法律纠纷。

2011年2月，他因呼吸道感染而短暂住院，引起来国际关注。2012年12月，他又因肺部感染和切除胆囊重新入院。2013年3月初手术成功后，他的肺感染复发，他在比勒陀利亚再次短暂住院。2013年6月8日，他的肺感染恶化，他又在比勒陀利亚再次入院，而且这一次情况严重。四天后，据报道，他的病情已稳定下来，但处于“严重，但较稳定的状态”。在送往医院救治的路上，曼德拉的救护车抛锚，在路边停了40分钟。外界为此批评政府，但祖玛反驳称，曼德拉全程受到了“专业的医疗护理”。

2013年6月23日，祖玛宣布曼德拉病情“危殆”。祖玛由非国大副主席西里尔·拉马福萨陪同到比勒陀利亚的译员与曼德拉的妻子马歇尔会面，讨论他的病情。6月25日，开普镇大主教塔博·玛科哥巴前往医院探望曼德拉，和马歇尔一起“在这观望和等待的艰难时期”为他祈祷。第二天，祖玛到医院探望曼德拉，取消了本来次日出访莫桑比克的行程。

2013年9月1日，曼德拉出院，但他的情况仍然不稳定。