융희학교에 입학한 매하는 그동안 접해보지 못했던 새로운 학문에 그야말로 정진하여 1910년 12월 융희학교를 졸업할 때에는 우수한 성적으로 1회 졸업생의 영광을 안게 된다. 신학문을 접하게 된 매하는 학업에 더욱 매진할 것을 결심하고 1911년 4월 경성 사립 정리사(精理舍) 고등과에 들어가 수학을 전공한다.

이곳에서 1년 6개월간 공부를 하던 중 매하 선생은 일생을 거쳐 교우하게 되는 마스도미라는 일본인 친구를 만나게 된다. 마스도미는 기독교적인 사상체계를 견지한 박애주의자(博愛主義者)로 민족에 구분을 두지 않고, 사유함으로써 일본의 만행을 부끄러이 여기고 조선의 현실을 안타까워하던 인물이었다. 그와 매하 선생의 만남은 운명적인 것으로, 두 교우는 평생 동안 우정을 나누며 서로의 신념을 행하는 데 독려하고 북돋아주는 동반자가 되었다. 한편 매하는 공부가 깊어감에 따라 민족이 처한 현실에서는 전문적인 학문을 연구하는 것보다는 근대문화를 조선에 맞게 적용시키는 것이 더욱 중요한 일임을 깨닫게 된다. 그리하여 기독교를 통해 인간애를 실천하려는 마스도미와 더불어 일본의 근대문화를 직접 경험해 보고자 일본행을 결심한다.

1912년 9월 일본으로 건나간 매하는 마스도미가 적을 두고 있던 일본의 고베신학대학교 예과에 진학하게 된다. 일본에서의 유학생활은 서울에서 체험하였던 신문화와는 또다른 충격으로 다가와 귀국 후 매하가 조선에서 펼칠 활동을 모색하는 데 주요한 모태가 되었다.

1916년 고베신학대학교를 졸업한 매하는 귀국하여 고창(高敞) 흥덕학당(興德學堂)으로 찾아가 교사로 취임한다. 흥덕학당은 마스도미가 고창 흥덕에 세운 학교인데 1917년 11월 오산학교(吾山學校)로 개교하였다가 1919년 4월 14일 중등과정인 사립 오산고등보통학교로 설립인가를 받은 고창고등보통학교의 전신이다. 당시 일본유학을 마친 매하로서는 출세할 수 있는 길이 얼마든지 열려있었으나 그가 선택한 길은 지방 사립학교에서 학생들을 교수하는 소박한 것이었다.