李登輝三歲的時候，家裡由「源興居」搬到了埔頭街的商店。在祖父作主下，李登輝和兄長一起到附近一所叫做「智成堂」的私塾去讀書。所謂私塾，自來是台灣漢族社會的民間教育中心，但隨著日本公學校的普及，私塾日趨減少。私塾所教內容通常為漢字或《三字經》等啟蒙性漢文，但到李登輝就學的這個時期，也已開始教授一些簡易的日語讀寫。

　　六歲時，李登輝隨著任職警察的父親調往汐止，並在這裡初次進入公學校體系，一年後，隨父轉至南港公學校，直到父調淡水再轉回三芝公學校。之後，李父辭去警職，回鄉進入三芝農業組合工作，以助家業，但李登輝和兄長卻轉校到淡水公學校，並寄居於淡水友人處。淡水位於三芝以南約二十公里，地處淡水河河口，清末北部開港，繁榮一時，其後為基隆所替代。

　　日本時代的公學校，有時會因為所在位置不同，而有六年制或四年制之別，父親李金龍之所以讓登欽、登輝兩兄弟到淡水唸書，或許是因為三芝公學校進學不易的緣故。

　　隨著年級愈高，李登輝向學心愈形強烈，他不斷地克服頻繁轉校所帶來的學習障礙，不過，在中學考試的難關上，他仍然遭遇了挫折。李登輝兩次應考台北公立中學未果，不得已先在淡水公學校高等科設籍一年，之後，又轉入基督教長老教會所設的私立淡水中學（今淡江中學）就讀。

　　關於李登輝兩次考試失敗一事，其中有些殖民地的特殊因素值得說明，而不單純只是李登輝個人準備不足的緣故。

　　日治時期的初等教育機構分為兩種，一是專為在台日本人子女所設之小學校，一是為台灣人子女所設的公學校。在李登輝誕生的前一年，也就是一九二二年，第一任文官總督田健治郎基於「內地延長主義」政策，推行教育改革，將小學校設定為「國語（即日語）常用者」，公學校為「非國語常用者」的初等教育機構，不過，教育實態並沒有太大改變。因為小學校通常只設在較多日本人居住的都市及其周邊，能去就讀的台灣人僅僅只有一些地方有力人士，或極少數受過高等教育人士的子弟而已。另外，也有許多富裕人家乾脆直接把子弟送往日本內地留學。以李登輝的情況來說，雖然父親擔任警職，但畢竟還稱不到上述的富裕，所以李登輝就讀的並非小學校，而是公學校。

　　在公學校中，雖然學生都是「非國語常用者」，但授課內容仍以學習「國語」為主，各科教科書的水準，常會比同級小學校用書來得淺一些。此外，由於一九二二年的教育改革標榜「內台共學」，中學校以上的台灣學制與日本本國學制視為同體系，可接續就讀，於是，便有內地學生鑽此漏洞，遠從日本來台灣參加考試。如此一來，台灣學生想從公學校考上公立中學，除了應試者本身的條件之外，還存在著許多差別待遇（黃昭堂《台灣總督府》)，而這些待遇是「國語常用者」的在台日本人子弟所不會遭遇到的，因此，殖民地的考試競爭，可以說同時帶有一種民族競爭的意味，這或是少年李登輝不曾意識到的。