乐昌独特的地理位置和悠久的历史,孕育了浓厚、深远的茶文化,沿溪山白毛(尖)茶种植历史悠久,至今已超过1200年。被尊为“茶圣”唐代陆羽与乐昌结下了茶缘,约公元789年,茶圣陆羽在广州任职期间,对所饮用的韶州茶(当时韶州茶的重点产区在乐昌)十分赞赏,便专程从广州来到韶州乐昌县考究白毛茶,亲自上山摘茶,遍访各处茶山,有其在乐昌西石岩洞内壁题“枢室”二字为证(据《韶州府志》记载:“陆羽题名并镌枢室二字余襄公有记。”又《乐昌县志》载:“有陆羽题名墨迹在焉。”)。明代的屈大均《广东新语》记载:“乐昌有白毛茶,茶叶微有白毛,其味清凉。”中华民国二十二年(1933年)续修的《乐昌县志》记载:“茶即茗,郭璞曰:早采为茶,晚采为茗,色有毛茶、古老茶、果子茶等,白毛茶产于大山中,叶有白毛故名,味清而香,为红茶、绿茶所不及,大山处处有之,以瑶山所产为最。”称“白毛茶有通鬼神之奇功”。在乐昌民间的传统艺术中,也有与茶相关的戏剧《采茶戏》。
据说清朝乾隆皇帝有一次夏天游江南,因中暑而大病不起,虽有御医在旁,却难痊愈。幸有广东籍官员将携带的乐昌沿溪山白毛(尖)茶熬成浓茶汤,供皇上饮用,几天后乾隆的病竟好了。于是乾隆悦赞乐昌沿溪山白毛(尖)茶为“神、奇、妙”茶。如此,乐昌沿溪山白毛(尖)茶更是名扬天下。
在20世纪40年代初期,中山大学农学院罗溥鍒教授来乐昌考察白毛茶,为免与外地茶种混淆,而定名为“乐昌白毛茶”。1965年全国茶树品种工作会议上,乐昌白毛茶被推荐为全国21个优良茶树良种之一,福建、湖南、江西、四川、安徽等省均有引种。1985年3月,经农牧渔业部批准,乐昌白毛茶再次被认定为全国茶树良种。福建省茶叶研究所利用引种的乐昌白毛茶品种仿制当地名茶,与当地名茶相比,发现乐昌白毛茶具有许多独特之处。