1918年7月18日，曼德拉出生于当时由开普省管辖的乌姆塔塔镇姆维佐村（Mvezo），起名为“Rolihlahla”，在科萨语口语中意为“捣蛋鬼”。后来，他以他的族名“马迪巴”（意为“调解人”）扬名。他的曾祖父努班库卡（Ngubengcuka）是位于现东开普省特兰斯凯区的泰姆布族人的统治者。这位国王的其中一个儿子姓曼德拉，是纳尔逊的祖父，也是他姓氏的由来。但由于曼德拉的母亲来自于伊克斯伊巴家族，是所谓的“左方王室”，所以他的后代属于皇室家族支系的贵贱联姻所生，没有资格继承王位，但被誉为世袭的皇家顾问。他的父亲葛德拉·汉瑞·孟伐肯伊斯瓦（Gadla Henry Mphakanyiswa）出任地方长官和皇室参赞；他的上一任被指控收受一名白人地方官的贿赂后，他于1915年被委派上任。1926年，葛德拉也因贪污遭解雇，但纳尔逊所得知的版本是父亲由于勇敢抵抗地方法院的无理要求而被辞退。葛德拉信奉非洲的创世主伽玛塔（Qmata），是一夫多妻主义者，共娶了四个妻子，育有四儿九女，他们分别住在不同的村里。纳尔逊的母亲是葛德拉的第三房妻子诺塞凯尼·范妮（Nosekeni Fanny），她是右方王室科达玛的女儿，也是科萨族的阿玛穆培武支系的一员。

曼德拉后来回忆说他的早年生活充斥着“习俗、宗教仪式和禁忌”。他与两个姐妹在母亲所在的库努村的一家茅舍里长大。他是个放牛娃，大部分时间和其他男孩在外面玩耍。他的父母都是文盲，但他的母亲是一名虔诚的基督教徒，在他七岁时把他送去了一家本地的循道宗学校读书。曼德拉受洗成为基督教徒后，他的老师为他取名为“纳尔逊”。曼德拉快9岁时，他的父亲到库努村逗留期间死于某种尚未确诊的疾病，曼德拉认为父亲得的是肺病。父亲死后，曼德拉有种“被抛弃”的感觉，他后来说自己继承了父亲“骄傲不羁的叛逆精神”和一种“顽强执着的公平信念”。

曼德拉的母亲把他带到了南非村庄姆克海凯泽韦尼的“圣地”大殿，把曼德拉托付给泰姆布族的摄政王琼津塔巴·达林岱波酋长（Chief Jongintaba Dalindyebo）养育。虽然曼德拉在此后的多年无法与母亲相见，但他感到琼津塔巴和他的妻子诺英格兰德待他如亲生孩子，把他与他们的儿子宙斯提斯以及女儿诺玛芙一起培养。由于曼德拉和他的养父母每周日都参加礼拜，基督教精神成了他人生很重要的一部分。他在大殿旁的一家基督教教会学校上学，学习英语、科萨语、历史和地理。他开始逐渐喜欢上非洲的历史，聆听到访大殿的长辈所讲的故事，并开始受到乔伊酋长反帝国主义思想的影响。但当时的曼德拉却认为欧洲的殖民者是恩人，而不是压迫者。16岁时，曼德拉、宙斯提斯和其他几名男孩到泰哈拉哈接受割礼，标志着正式步入成年阶段；仪式结束后，曼德拉被赐予“达利布洪加”的名字。