所谓“客家人”(移民-外来户)这个称呼，最早其实是明清时期，广东珠三角广府地区(四邑)的当地原住民，对从粤东/闽西迁过来垦荒，且操着客家话的移民，而言的他称。所以，对应这些本地“土人/土籍”来说，那批移民就是“客民、客家”(外来户-新移民)。

当时，土人更多的占据着珠三角平原沃土；而这部分明清时才迁入当地的客民，顶多只能去开垦荒山，争田地、水源……客家人在当地，基本没有话语权，连科举名额都很难能得到。（清代客籍相对于当地土人，会有户籍上限制，很难在当地取得科考权名额）

土人，占据地利方便，从而以世居于此的“地主”而自居，自诩为所谓的“久居粤地之正统”。从而，极力的贬斥客民为土匪，口音、二次葬等等风俗为蛮夷恶俗等等。

​反过来，客家人视土人为百越土著，更是以“中原南迁古汉族嫡系”而自恃。讥讽这些广府当地原住民，尽显南方土著文化特质。

久而久之，这些从外地大规模迁入珠三角当地的新移民，与当地人又引发了更多激烈的冲突纠纷。总之，双方都会刻意的抹煞对方，正统汉人的身份，以此来争夺“文化正统的话语权”。从而，一发不可收拾，以致后来引发了大规模“土客械斗”，死伤非常的惨重。

所以，明清时期的这个“土客械斗”（1854–1867），使得珠三角当地民间，对这些外来移民，使用了很多歧视性的说法，比如有：称客民为客贼、甚至造出带反犬旁的「犭客」，骂风俗怪异、语言难懂……总之，极尽扭曲歧视和恶意攻击。

一直到了1905年，顺德当地文人黄节（黄杰），更是编写了《广东乡土地理教科书》，在书中辱骂客家人：“广东种族有曰客家、福佬二族，非粤种，亦非汉种。”

这些冲突，一直都引发了严重的族群对立。事后，在当时引发巨大舆论风波，客家教授（罗香林等人后来系统写客家源流）于是专门撰文予以反驳。从而，掀起近代第一次客家身份大辩论。

于是，根据罗香林的学术理论，得出的答案是:
历代中原战争动乱，是产生“客家人”的最重要原因。客家人，是由历史上“五次中原大南迁”，所形成的汉族移民群体，属于是汉族里面，唯一不以地理来划分的“客家民系”。

根据史料、族谱、民风民俗、语言……得出的分晰，学术主流观点得知，客家人的祖先，原籍多为北方中原地区的陕西、山西、河南等地。最早出发南迁下来的北方中原核心省份，如下（按重要程度排序）：
1. 河南省（中原正统核心）。重点区域：洛阳、开封、荥阳、固始、南阳、陈留（今开封东南）。
2. 山西省（河东中原）。​重点区域：太原、河东（运城临汾一带）、洪洞。
其中，很多客家姓氏族谱，写着“山西太原郡”（王、温、郭等郡望），都是秦汉魏晋北方大族发源地。
3. 陕西省（关中）长安（西安）一带，汉唐贵族，早期南迁源头之一，郡望如京兆（杜、韦等）。

其它的还有:
4. 山东省（古齐鲁）少量世家（孔、孟相关旁支），比例远低于河南、山西。
5. 河北省（古冀州）
正定、涿州一带，部分北方士族南迁。
……
后来，随着罗香林的“客家(移民)学说”的兴起，又让广府地区的这些新移民，带来了更多新希望，得以正名。从而，正大光明的照亮了他们的来时路。
所以，这些广东人，后来也逐步的接受了“客家人”(北方中原移民)的这个称谓，从而又以“客居南方的中原人”而自居。