人口根据种族分为四大群体：“黑人”、“白人”、“印度人”和“有色人种”（用引号表示这是南非法律原文中的说法）。有色人种包括班图人、科伊人、欧洲人和马来人之间的混血种人，其中很多人是当年被运到南非当奴隶和合同工的印度人、马达加斯加人和中国人的后代。

制定种族隔离制度的部门当时设计了复杂（而专横的）标准，通过实行《人口登记法》来判定有色人种。级别较低的官员负责采取测试的形式判定一个人属于有色人种还是黑人，或者属于有色人种还是白人。有时候，同一个家庭的成员被判定为不同的种族。判定为有色人种后，会通过进一步测试确定此人属于有色人种类别下的哪个种族。在后种族隔离时代，很多之前被判定为有色人种的人都反对继续使用“有色人种”一词，尽管这个词已经不再具有任何法律意义。“所谓的有色人种”（阿非利加语为sogenaamde Kleurlinge）以及“褐色人种”（bruinmense）等表达在80年代被广泛使用。

在种族隔离制度下有色人种受到歧视，国家政策规定他们住在单独的镇区，甚至强迫他们离开其家族世世代代传下来的祖屋。再者，他们只能受到较低等的教育，但比黑人所受的教育要好。有色人种在反种族隔离运动中发挥了重要的作用：比如，1902年成立的非洲政治组织几乎全由有色人种组成。

1950年-1983年，有色人种的投票权像黑人一样被完全剥夺。然而，1977年，国民党核心高层会议通过了允许有色人种和印度人在中央政府任职的提案。1982年，宪法决案引起了一场白人的公投，最终通过了三院制议会。1983年的修宪允许有色人种和亚洲少数群体在三院制议会中的单独议院中参政。意思就是有色人种这一少数群体可享有投票权，而黑人这一多数群体将成为独立家园的公民。这种隔离政策一直持续到种族隔离制度被废除。三院制改革推动了（反种族隔离的）南非民主统一战线（UDF）的形成，旨在防止参选的有色人种和印度人与白人结成联盟。1983年至1989年的UDF和国民党的争斗成了南非左翼和右翼之间最激烈的斗争时期。