非国大于1912年1月8日在布隆方丹成立，原名为南非土著人国民大会（South African Native National Congress），政党目标是为南非黑人争取政治、经济权利。党的领袖是约翰·杜伯牧师。

1925年，非国大改为现名，1931年开始接纳女性加入，1943年开始女性党员享有与男性平等的权利；1944年起，纳尔逊·曼德拉等人建立了非国大自己的青年组织；1947年，非国大与纳塔尔省及德兰士瓦省两地的印度裔南非人组织实现联盟。这一系列举措都增强了非国大的实力。

非法时期

1948年，国民党政府决定在南非实行种族隔离制度，此后，非国大就成为了反对种族隔离制度的急先锋。1955年6月26日，在非国大主导下，各个黑人、有色人以及少数白人政党在约翰内斯堡郊外的柯利普城联合发表了《自由宪章》，宣布要争取所有人民享有不分肤色、种族的平等权利。此后，非国大致力于在南非国内外发动对政府的抗议活动。1958年，156名领导成员被南非政府逮捕。1959年4月6日，因为不满非国大的非暴力与不合作政策，一部分成员独自成立阿扎尼亚泛非主义者大会，宣称将采用暴力方式推翻种族隔离政权，建立由非洲人统治的南非。

1960年，非国大与泛非大会共同组织大型集会，抗议《通行证法》的实施。南非政府军警与示威民众爆发严重冲突，军警继而开枪镇压导致69名示威者死亡，史称“沙佩维尔大屠杀”。受到此事波及，非国大被宣布为非法组织并被迫转入地下。次年，非国大决定放弃非暴力立场，组织军事组织“民族之矛”，由曼德拉出任总司令，开展武装反抗，因而被部分西方国家视为恐怖组织。

1962年，纳尔逊·曼德拉被捕，曼德拉于1964年更被判终身监禁，但是在苏联及莫桑比克等国的支持下，非国大仍然坚持斗争，并拒绝与南非白人政府接触，种族冲突持续。

取得合法地位

1989年东欧剧变后，苏联无力继续支持非国大。在此背景下，非国大开始同意与南非白人政府接触，争取和平解决种族隔离问题。1990年2月2日，在国内外压力下，南非国家总统弗雷德里克·威廉·德克勒克在与狱中的纳尔逊·曼德拉会谈后，宣布取消对非国大和泛非大会的禁令，2月11日释放曼德拉，并于1992年3月废止种族隔离，在1994年举行不分种族的平等民主选举。