客家人源自中原，客家先民历经六次南迁。

第一次是在秦朝时期，西元前221年，秦始皇统一中国，派兵六十万南征，到达今揭阳县北，在西元前214年，再派五十万兵到达两广地区范围内，这些士兵都停留在当地，成为首批客家人。

第二次是在东晋时期，居住在中原地区的人们为避战乱，迁至闽粤赣边区。

第三次是在唐朝末年，安史之乱和黄巢起义，令大量中原人们再次向闽粤赣一带迁移。

第四次是宋朝时期，宋朝国土先受到金人入侵，臣民被逼南迁，蒙古人亦趁势南征，占据整个中原，宋朝最后走向灭亡，大部份官吏士民继续往南退守。

第五次是明末清初时期，当时在赣南、粤东、粤北的客家人因为人口繁多，身处的环境空间有限，同时，康熙皇帝为了争取南方居民的民心，决定实行奖励垦荒，每人发送银两若干，鼓励他们向其他地区迁移。人们于是逐渐向川、湘、桂、台诸地以及粤中和粤西迁徙。其中四川的客家人主要源于这次的迁移。

第六次是清代太平天国时期，国内战火连连，部份客家人迁到南亚地区，有的被押送到马来西亚、巴拿马、巴西、美国等地做契约劳工。

在17世纪末期，客家人开始向香港迁移，客家人也是香港在开埠前其中一批最早的香港原居民。香港成为英属殖民地之前，曾有336个村落，其中客家人的村落就多达128个。

香港的客家人当中，70%被称为「老客」。这些老客的祖先在康熙年间实行奖励政策鼓励迁移的时候，由广东、福建、江西等地来到香港成为开垦官府荒地的农民。

住在新界的「老客」保留传统的客家方言及风俗，居住的房子也有客家风格。由于客家人迁移至香港时人数众多，在人数和经济能力上几乎与本地人旗鼓相当，因此没有被本地人同化，保留自身的传统特色。