南岳石頭懷志庵主，寶峰克文禪師之法嗣，俗姓吳，婺州(治所在今浙江金華)人。十四歲從智慧院寶偁(cheng)禪師出家，二十二歲試經得度，後講習經論，長達十二年之久，深得宿學之敬慕。他曾經想會通諸宗之法義，以正一代時教。
一日，有一位禪者問他：“杜順乃賢首宗祖師也，談法身則曰：‘懷州牛吃禾，益州馬腹脹。’此偈合歸天台何義邪?”
懷志庵主被問得無言以對。從此他便放棄講經，遊方參學。
懷志庵主後至洞山，投克文真淨禪師座下請益。
初禮真淨禪師，懷志庵主便問：“古人一喝不作一喝用，意旨如何?”
真淨禪師一聽，便呵斥。懷志庵主正要退出，真淨禪師卻笑著招呼道：“浙子齋後遊山好!”
懷志庵主一聽，忽然領悟。
于是他便留在真淨禪師座下繼續請益，過了很長一段時間才辭去。
臨行前，真淨禪師告訴他：“子所造雖逸格，惜緣不勝耳。”
懷志庵主當即明白了真淨禪師的言外之意。
此後，懷志庵主便到南岳石頭，卓庵隱居二十餘年，不與世人相來往，即便是士大夫登門拜訪，亦不稍顧。諸方信眾雖竭力邀請他出世接眾，但是都遭到了懷志庵主的婉言謝絕。
懷志庵主曾有一首偈子，描寫了他的隱居生活：
“萬機休罷付癡憨，蹤蹟時容野鹿參。
不脫麻衣拳作枕，幾生夢在綠蘿庵。”
曾有人問懷志庵主：“住山多年，有何旨趣?”
懷志庵主道：“山中住，獨掩柴門無別趣。三個柴頭品字煨，不用援毫文彩露。”
北宋徽宗崇寧改元(1102)冬，懷志庵主曳杖到龍安。從悅禪師曾在此住過。當地的人想留他住山，卻沒有留成。
第二年六月三十那一天，懷志庵主問侍者：“早暮?”
侍者道：“已夕矣。”
懷志庵主便笑道：“夢境相逢，我睡已覺。汝但莫負叢林，即是報佛恩德。”說完便于最樂堂示寂。