新当选的国民议会所办的第一件事是正式推选曼德拉为南非第一任黑人政府最高首长。1994年5月10日，他的就职典礼于比勒陀利亚举行，世界各地10亿名观众收看了电视直播。4000名来宾出席了典礼，其中包括背景迥异的国家领导人。曼德拉领导着全国统一政府，政府由缺乏治理经验的非国大占支配地位，同时也包括国民党和因卡塔自由党的代表。根据《临时宪法》的规定，因卡塔自由党和国民党如果赢得20或以上席位，便有资格在政府任职。为兑现早前的协定，德克勒克成为第一副总统，塔博·姆贝基为第二副总统。虽然当时姆贝基不是曼德拉的优先任用对象，但曼德拉在担任总统期间变得十分器重他，把政策细节都交由他来处理。曼德拉搬进开普镇泰因海斯的总统办公室办公，让德克勒克继续住在格鲁特·舒尔的总统官邸，自己则住进了附近的威斯布鲁克宅邸，并将之重新以阿非利加语命名为"Genadendal"，意为“慈悲谷”。他保留着霍顿的家，并在家乡库努村起了一座房子。他会定期到那里附近走走，和当地人见面，并审理部落纠纷。

76岁时，曼德拉身患各种疾病，虽然表现出一如既往的活力，但他感到孤寂。他经常款待如迈克尔·杰克逊、乌比·戈德堡和辣妹乐队等名流，结识英裔美国人哈里·奥本海默等超级富商，并在伊丽莎白二世1995年3月到南非进行国事访问时对她友好招待，这些引起了非国大反资本主义者的强烈批判。虽然生活环境华丽气派，但曼德拉平时生活简朴，他把年收入552,000兰特的三分之一捐给了他1995年成立的纳尔逊·曼德拉儿童基金。虽然公开支持媒体自由并友好对待很多记者朋友，但曼德拉对国内媒体持批评态度，认为绝大部分媒体由中产阶级的白人所开办和经营，过于注重散布关于犯罪活动的骇人消息。曼德拉担任总统后，一天换几次衣服。他的其中一个标志是被称为“马迪巴衬衣”的热带风情蜡染衬衫，就连正式场合也这么穿。

1994年12月，曼德拉的自传《漫漫自由路》出版。1994年末，曼德拉参加了在布隆方丹举行的第49届非国大大会，会上选出了更为激进的全国执委会，维尼·曼德拉是其中一名执委会成员；尽管维尼希望与纳尔逊和好，但纳尔逊于1995年8月启动离婚诉讼。1995年时，他已经与格拉沙·马歇尔建立了恋爱关系，格拉沙是莫桑比克的政治积极分子，比曼德拉小27岁，是莫桑比克前总统萨莫拉·马歇尔的遗孀。他们于1990年7月首次见面，当时格拉沙还正在服丧，但他们的友谊后来发展成伴侣关系，格拉沙还陪同曼德拉多次到国外出访。她拒绝了曼德拉的第一次求婚，希望保持自立，并把时间合理分配到莫桑比克和约翰内斯堡。