1、出于姬姓。西周初年，周文王姬昌的第十五個兒子畢公高被封在畢（今陜西省咸陽北），建立畢國。畢公高又讓自己的兒子季孫采食于潘，因氏焉。
2、鮮卑改姓。北魏孝文帝漢化改革時，改鮮卑破多羅氏為單姓潘。清康熙末年，臺灣岸里大社（今臺灣省臺中市神崗）酋長阿穆歸順清廷，被賜姓為潘；光緒時，臺灣高山族相率歸化清廷，也被賜姓潘（這也就是臺灣高山族人大多姓潘的重要原因）。
3、漢化改姓。源于其他少數民族，屬于漢化改姓為氏。在今水族、京族、土家族、彝族、瑤族、仫佬族、回族、壯族、布依族等少數民族中，均有潘氏族人分布。
