由于从小受到父亲识字临帖的培养，幼年时的陶行知便表现出不同于一般乡野童顽的聪慧，被暘村塾师方庶咸秀才发现，愿收为弟子。无奈陶父家贫，不能送子入学。后在陶行知六岁时，由方秀才免费代为启蒙。
启蒙后，陶行知便在家跟父亲读书习字。1899年，8岁的陶行知随父前往休宁万安，得入吴尔宽私塾伴读。在随后五年里，他在学习上显露出惊人的聪明，深得外祖母及塾师、学友喜爱。13岁时，陶父因染上不良嗜好，体力渐衰，不得已将陶行知辍学带回黄潭源村参加劳动。陶行知在辍学参加劳动之余，利用空闲读书自学。陶父也利用劳作空闲教子攻读。后经亲友介绍，陶行知得到歙县上路街秀才程朗斋对四书的解说指点。陶行知还经常主动到相距15里外的航埠头曹家经馆求师问业。经馆塾师王藻是前清贡生，道德文章在当年当地享有盛名。他被陶行知风雨无阻前来求学所感动，谆谆教导，不厌其烦；陶行知对王老师也极为尊敬，就教时常立门外，静候老师室内课毕始入。有次大雪纷飞，他赶到曹家照常立在门外静候，待王藻发现，呼其入室，当众表扬陶行知有“程门立雪”的古人之风，一时传为美谈[31]。就这段求学经历对陶行知的影响，余子侠先生在他所著陶行知的传记中写道：“由是，凭借父亲家教身传和四处求学问师这两条途径，陶行知深受传统文化熏陶，打下了较为扎实的儒学基础，为自己的知识体系的建构做出了最底层次的铺垫。”[32]可以说，这种“较为扎实的儒学基础”，对陶行知“我是一个中国人，要为中国做出些贡献来”、“学而不厌，诲人不倦”、“仁者不忧，知者不惑，勇者不惧”、“富贵不能淫，贫贱不能移，威武不能屈”等自我概念的形成，起到了至关重要的作用。而方、王两位先生“有教无类”、“得天下英才而教育之”的教师形象，或许也为陶行知自我概念的形成树立了榜样。