客家人源自中原，客家先民歷經六次南遷。

第一次是在秦朝時期，西元前221年，秦始皇統一中國，派兵六十萬南征，到達今揭陽縣北，在西元前214年，再派五十萬兵到達兩廣地區範圍內，這些士兵都停留在當地，成為首批客家人。

第二次是在東晉時期，居住在中原地區的人們為避戰亂，遷至閩粵贛邊區。

第三次是在唐朝末年，安史之亂和黃巢起義，令大量中原人們再次向閩粵贛一帶遷移。

第四次是宋朝時期，宋朝國土先受到金人入侵，臣民被逼南遷，蒙古人亦趁勢南征，佔據整個中原，宋朝最後走向滅亡，大部份官吏士民繼續往南退守。

第五次是明末清初時期，當時在贛南、粵東、粵北的客家人因為人口繁多，身處的環境空間有限，同時，康熙皇帝爲了爭取南方居民的民心，決定實行獎勵墾荒，每人發送銀兩若干，鼓勵他們向其他地區遷移。人們於是逐漸向川、湘、桂、台諸地以及粵中和粵西遷徙。其中四川的客家人主要源於這次的遷移。

第六次是清代太平天國時期，國內戰火連連，部份客家人遷到南亞地區，有的被押送到馬來西亞、巴拿馬、巴西、美國等地做契約勞工。

在17世紀末期，客家人開始向香港遷移，客家人也是香港在開埠前其中一批最早的香港原居民。香港成為英屬殖民地之前，曾有336個村落，其中客家人的村落就多達128個。

香港的客家人當中，70%被稱為「老客」。這些老客的祖先在康熙年間實行獎勵政策鼓勵遷移的時候，由廣東、福建、江西等地來到香港成為開墾官府荒地的農民。

住在新界的「老客」保留傳統的客家方言及風俗，居住的房子也有客家風格。由於客家人遷移至香港時人數眾多，在人數和經濟能力上幾乎與本地人旗鼓相當，因此沒有被本地人同化，保留自身的傳統特色。