매하의 일본에서의 행적은 구체적으로 알려진 바 없다. 하지만 조선인인 매하에게 일본에서의 생활이 그리 녹록하지만은 않았을 것이다. 부유했던 마스도미의 도움을 받기는 했지만 식민지출신으로 피지배민의 신분에 불과했던 조선인 유학생에 대한 일본인들의 태도가 호의적이었을 리는 없다. 그들은 조선인을 삼류 인간으로 취급했다. 그 때문에 당시 일본에서 공부하던 조선인 유학생들의 반일감정과 독립에 대한 열망은 더욱 격앙되어 있었다. 그것은 1919년 2월에 <2.8 독립선언>이 3.1운동에 앞서 일본에서 먼저 이루어지는 배경이 되기도 했다. 이러한 상황은 매하에게도 역시 마찬가지였을 것으로 생각된다. 1912년 9월 일본으로 건너 간 매하는 1916년까지 4년간의 시간을 일본에서 보내게 된다. 그 기간은 비슷한 처지에서 같은 생각을 공유하는 유학생들과의 교류를 통해 조선의 독립과 민족의 교육에 대한 자신의 신념을 더욱 공공히 할 수 있는 시간이 되었을 것이다.

매하가 공부했던 고베신학대학교는 예과와 본과를 둔 신학대학으로서, 그곳에서는 외국인 교수들에 의해 수준 높은 교육이 이루어지고 있었다. 당시의 신학교 교과과정에 대한 기록은 알 수 없지만 오늘날을 기준으로 생각해보면 성경과 신학, 철학, 심리학 등에 대한 교육과 함께 히브리 어, 그리스 어, 라틴 어, 영어 등에 대한 어학교육, 교양으로서 일본과 동양, 서양의 역사에 대한 강의가 이루어졌을 것은 쉽게 짐작된다. 또한 매하로서는 당시 세계를 주도했던 주요 국가 중의 하나였던 일본의 사회와 역사 문화를 직접 부딪치며 배울 수 있는 기회이기도 했다.

이후 매하는 1916년 고베신학대학교를 졸업하고 다시 현해탄을 건넌다. 매하는 지난 4년간의 유학생활을 통해 지각 있고 세계적 균형 감각을 가진 지식인으로 다시 태어났으며, 무엇보다도 자신과 조선사회가 극복해나가야 할 ‘일본’ 사회의 면면을 살펴볼 수 있는 좋은 계기를 마련할 수 있었다. 당시 28세의 매하는 민족교육자로서의 자신의 삶을 펼쳐나갈 모든 준비를 마치고 조선 땅으로 돌아왔다. 척박한 조선의 교육적 토양은 그의 노력과 땀으로 일구어내야 할 거칠고 험한 땅이었다.

일제의 ‘조선교육령’과 우민화(愚民化) 교육은 조선의 젊은이들에게 제대로 된 배움의 기회를 박탈해버렸다. 이에 신학문을 먼저 배워온 매하와 같은 선각자들로서는 조선의 젊은이들에게 신학문을 가르쳐주어야 하는 시대적 과제가 안겨졌다. 이는 만주나 중국 땅에서 총칼을 들고 일본군과 직접 대적하는 독립운동 이상으로 중요한 일이었다. 이와 같은 소명의식을 부여받고서 귀국선에 오른 매하의 가슴 속에는 조국의 미래를 책임져야 하는 기대감과 열정으로 충만해 있었다.