该寺始建于唐僖宗年间。据碑文和《石霜寺略》载：寺始由唐僖宗李儇（874-888年在位）下旨，宰相裴休监建。石霜寺曾管辖寺院48处，房屋5948间。现存的殿宇尚有大雄宝殿、关圣殿、祖堂、斋堂、戒堂、方丈室、客膳厅等。石碑木匾亦不少。惜寺房年久失修，倾颓不少。现寺前寺后存有千年古柏、古银杏各一株，据说柏树还是幼苗时，即向左倾斜，小沙弥欲拔掉，被庆诸制止，后用土石垒围正，故名为左柏，高30米，胸径达80厘米，枝叶繁茂。后山附近葬有该寺的开山祖庆诸、楚圆、龙湖、慧南、方会等。中国佛教禅宗五家七宗，有两宗发源于石霜寺。《中国佛教》中云：“有楚圆，住石霜崇胜寺行化，其下有慧南、方会，开黄龙、杨歧二派，合前五家，号为七宗。”相传日本佛教中严宗和临济宗均发脉于石霜。
      为保留源远流长的宗教文化，从2003年5月初开始，经过省、市有关部门和省内外专家反复论证，并多次派人赴南岳等地学习，浏阳市作出恢复石霜寺原貌，力求重现其鼎盛时期的规模和风格的决定。根据修复方案，修复后的石霜寺总面积占地面积将达4万平方米。