佛陀出生後，父親淨飯王為使自己的國家後繼有人，不願佛陀出家修道。為了防止他產生出家之心，便對他從小進行了嚴格的教育和管制，教給他各種婆羅門知識、禮儀以及「齊家治國」之術；建造幾處宮殿供他單獨居住，禁止他隨便出宮，接觸平民百姓；又於他十七歲時，替他娶了一個非常漂亮的女子，並送給他幾百名藝女，歌舞娛樂，希望以聲色籠絡住他的出家之心。
　　
　　一切都是徒然。有一天，佛陀想出城遊玩，向淨飯王提出懇請。淨飯王以為太子出城遊玩，是去尋求世俗之樂，出家之心漸泯，便同意了。於是，太子便命御者套上馬車，出城遊覽。主僕二人駕車出東城門，名勝未能看到，卻遇上了一位龍鍾老者，白髮蓬亂，牙齒落盡，雙目昏暗，兩耳聵聾，拄杖而行。太子吃了一驚，忙問這是什麼人。御者說是老人。太子問：「我是否也會成為老人呢？」御者回答：「不但是你，天下的人都會有老的一天。」太子立即鬱悶不樂，心想：人生過得真是太快了，就像流水一樣，流過之後便再無回期，真是太苦了啊！太子失去了遊玩的雅興，便駕車鬱鬱地返回宮中，去思考人生易老的問題。
　　
　　不久，太子主僕二人又駕車出南城門，遇上了一個病人，腹部水腫，身體瘦弱，躺在道旁。御者告訴太子：「這是病人，已經活不了幾天啦！」太子說：「一切都是無常的。我顯然也會這樣，有遭逢生病的一日。」心中不快，便駕車回到宮中。
　　
　　後來，太子又出西城門遊覽，看到一個死人，家屬在邊上號啕啼哭，悲痛異常。御者說：「這是死人。人都有死，就像有春必有秋一樣。」太子問：「我也會死嗎？」御者回答：「人都是要死的。」太子心中煩悶，又駕車回宮去了。
　　
　　最後，二人出北城門，遇上了一位衣服整齊，手持法器的人。太子問到：「這是什麼人？」御者回答：「這種人叫比丘，一生絕情去慾，心地慈悲，以救度眾生為任。」太子說：「太好了！這樣活著才是快樂的啊！我也要過這樣的生活。」
　　
　　據說，「四門遊觀」事件使佛陀直接體驗到了人生的倏忽無常，目睹了出家比丘的異人風采。他開始思考人生的生老病死問題，定下了出家修道、救人苦難的決心，並終於翻越城牆，不告而別，棄家修道去了。佛教徒相信，「四門遊觀」的所見所聞，是佛陀出家的直接原因。然而研究表明，「四門遊觀」的故事，其文學性多於歷史真實性。早期的佛典沒有這方面的記載，極可能是後人的杜撰。
　　
　　實際上，佛陀生活的時代，印度與戰國時期的中國相似，諸國林立，兼併戰火四處燃起，大暴小，強凌弱，弱小國家的生存受到威脅。迦毗羅衛是北印度的小國之一，長期受到鄰國的欺壓，瀕臨滅亡的邊緣。佛陀生在這樣的時代，政治上注定是個失敗者。當時的印度文化卻處於繁榮時期，佛陀或許看到，如在文化上有所造就，也許能挽救釋迦族的命運。以他早年所受的教育，在文化上有所造就是完全可能的。這也許是促成佛陀出家的決定性原因。