乐昌独特的地理位置和悠久的历史，孕育了浓厚、深远的茶文化，沿溪山白毛（尖）茶种植历史悠久，至今已超过1200年。被尊为“茶圣”唐代陆羽与乐昌结下了茶缘，约公元789年，茶圣陆羽在广州任职期间，对所饮用的韶州茶（当时韶州茶的重点产区在乐昌）十分赞赏，便专程从广州来到韶州乐昌县考究白毛茶，亲自上山摘茶，遍访各处茶山，有其在乐昌西石岩洞内壁题“枢室”二字为证（据《韶州府志》记载：“陆羽题名并镌枢室二字余襄公有记。”又《乐昌县志》载：“有陆羽题名墨迹在焉。”）。明代的屈大均《广东新语》记载：“乐昌有白毛茶，茶叶微有白毛，其味清凉。”中华民国二十二年（1933年）续修的《乐昌县志》记载：“茶即茗，郭璞曰：早采为茶，晚采为茗，色有毛茶、古老茶、果子茶等，白毛茶产于大山中，叶有白毛故名，味清而香，为红茶、绿茶所不及，大山处处有之，以瑶山所产为最。”称“白毛茶有通鬼神之奇功”。在乐昌民间的传统艺术中，也有与茶相关的戏剧《采茶戏》。
据说清朝乾隆皇帝有一次夏天游江南，因中暑而大病不起，虽有御医在旁，却难痊愈。幸有广东籍官员将携带的乐昌沿溪山白毛（尖）茶熬成浓茶汤，供皇上饮用，几天后乾隆的病竟好了。于是乾隆悦赞乐昌沿溪山白毛（尖）茶为“神、奇、妙”茶。如此，乐昌沿溪山白毛（尖）茶更是名扬天下。
在20世纪40年代初期，中山大学农学院罗溥鍒教授来乐昌考察白毛茶，为免与外地茶种混淆，而定名为“乐昌白毛茶”。1965年全国茶树品种工作会议上，乐昌白毛茶被推荐为全国21个优良茶树良种之一，福建、湖南、江西、四川、安徽等省均有引种。1985年3月，经农牧渔业部批准，乐昌白毛茶再次被认定为全国茶树良种。福建省茶叶研究所利用引种的乐昌白毛茶品种仿制当地名茶，与当地名茶相比，发现乐昌白毛茶具有许多独特之处。
