1897年孙中山第一次广州起义失败后，逃往日本横滨，为宣扬革命思想，孙中山和陈少白在横滨共同创办了日本近代第一所华侨学校——“中西学校”。次年，戊戌变法失败，康有为和梁启超等人丧命于日本，梁启超控制“中西学校”，把“中西学校”改名为“大同学校”。1907年革命党人在横滨建第二所华侨学校。这两所学校都使用粤语教学。辛亥革命前，在日本共建华侨学校7所。1923年浙江籍华侨创建中华学校，使用宁波语教学。1929年又建东京华侨学校。此后，在神户、长崎等地相继创办一些华校。又因二战几乎所有华校都停办。
二战后，日本对华侨学校的政策比战前宽松一些。日本宪法规定，学校是超党派的学术阵地，侨学除登记注册外，其他事宜不加过问。官方还不断视察侨校的办学情况，对于学校发展规划、课程设置、教材内容等不予干涉。1946年1月，华侨学校成立的留日华校教育会是日本华文教育史上的一件大事，对日本华侨团体建设和华文教育的发展都有推进作用。在众多因素的影响下，华侨学校得以快速恢复。1946年3月，华侨在大阪创办中华国文学校。1946年9月，在横滨新建中华学校（原广东小学校）、有调查表明，1948年9月，日本9所华校有学生3500人，另有1500名华侨子弟在日本学校就读。
1972年中日恢复邦交关系。当时华侨学校因受日本教育法的制约，为数不多的华校也倒闭了。到了20世纪70年代末期，仅存东京中华学校、横滨中华学院等5所，这些学校的体制属于初中等教育的小学和中学。日本华文教育的萎靡状态一直持续到20世纪80年代末期。
20世纪90年代以来，由于国际形势的发展、中国经济的持续发展，中日两国的交流合作日益加深以及日本华人社会的变迁，前往日本的移民人数显著增加，尤其是到2000年，占据外国留学生50%以上的中国留学生队伍，一股脑影响着华侨华人社会的规模，也促进了日本华文教育的发展。据统计，日本华侨华人20O4年45643人，比1995年23314人增加了两倍。人数的增加与华文教育的需求呈正比。2002年名华中文学校创办，起初有近40名学生。2003年横滨山手中华学校又新建校舍。2003年4月，新华侨华人与日本友好人士联合筹建了 一所全日制华文学校——日中学校，突出新华人优势，主要实行双语教育。同期，更多的教学形式则是中文班、周末中文学校、中文教室以及电视远程学校，等。据报道，仅在日本东京附近的中文班、中文教室就达40余家，每天学习汉语人数不低于500人。
日本华裔青少年除了通过华文学校学习汉语言文化外，还可以通过日本政府学校来学习汉语。2003年日本有353所高中开设汉语课，一年后增加到475所。1996年汉语列入大学入学考试科目促进了大学汉语课程的开设。据统计，到21世纪初期，开设汉语课的大学有500余所，设立汉语专业的大学有85所。把汉语作为二外学习的高校高于95%。