大師的日本緣，始於一九０五年秋，東渡日本留學，大師到日本後，根據自己所長和興趣，從事藝術方面的研究，撰寫《圖畫修得法》、《水彩畫法說略》，刊載於留學生所編的《醒獅》月刊。一九０六年九月，大師考入日本美術教育學府上野美術專門學校。大師是中國留學生進入日本美術學校的第一人。他從日本著名的畫家黑田清輝學習西洋畫，開始了藝術的登攀，進入後，大師學習非常認真刻苦，日本國民新聞社記者特地採訪了大師，並發表了題為《清國人志於西洋畫》的訪問記，對大師的學習行為大中讚賞。留日期間，大師在東京除了學習繪畫外，同時還學習鋼琴、音樂、外語等。尤其對戲劇藝術產生了濃厚的興趣，於是引發了演話劇的強烈欲望。一九０六年，大師與曾孝會、歐陽予倩、謝抗白等創辦了「春柳劇社」演出話劇《茶花女》、《黑奴天錄》、《新蝶夢》、《雪蓑衣》等劇目。大師在《茶花女》中扮演的茶花女，得到了日本戲劇評論家松翁很高的評價。他在《對於中國劇的懷疑》一文中說：「中國的徘優（演員），使我最佩服的李叔同君！」「尤其李君的優美婉麗，決非本國的徘優所能比擬」。「倘使自『椿姬』（即茶花女）以來李君仍在努力這種藝術，那末，豈容梅蘭芳、尚小雲輩馳名於中國的戲劇界……」。《茶花女》片段演出的巨大成功，使日本人在讚揚之餘，驚為創舉，有好幾個日本學生也加入了「春柳社」。「可知李叔同君，確是放了新劇最初的烽火。」由此亦可見，大師是中國話劇運動的最早創始人。他對話劇運動的貢獻，是應該永遠彪炳於新劇運動史冊。大師的日本因緣，一直延續到一九一八年出家後，為了佛學研究，經常通過朋友以及在上海的日本書商內山完造與日本書聯繫，購求留傳在日本的中國佛教典籍和日本佛學著作。一九三六年，經大師親自整理的日本大、小乘經律有萬餘卷，編成《佛學叢書》四冊，交上海世界書局出版。大師手編《四分律行事鈔資持記扶桑集釋》一書，多達五十餘萬言，均採揖自日本古本，校勘註釋、直到圓寂前仍然筆耕不輟。
大師根據從日本請的古版律學，用了七年時間，圈點南山三大部並講律修持，精心地撰寫了《四分律比丘戒相表記》一書，使淹沒了七百餘年的絕學南山律宗，得以重興。該書也被稱為宋靈芝律師之後第一巨著。《四分律比丘戒相表記》出版之後，由夏丐尊居士將三十五部交給日本書商內山完造，由內山先生將此分寄贈到日本的東京、京都等大學的圖書館去。
一九二九年，大師在福州鼓山湧泉寺的藏經樓裏，發現了清初為霖禪師所著的《華嚴經疏論纂要》。此書在日本新修的《大正藏》中，也沒有收入。大師慧眼識珍，於是倡印數百部，並以十多部贈與日本各大學和寺院，由此可見，大師與日本因緣之深遠。