はじめに

つい最近、今の勉強法を簡単に記したXのポストをした。本記事では、もう少し掘り下げてまとめて書いてみようと思う。2026年のスナップショットであり、来年以降に読み返したら面白いかもしれないので。

なおこの記事は、文章の誤字脱字チェック以外には生成AIを活用しておらず、すべて手でタイプしている。

基本的な考え方（わかった気から一歩進むために）

生成AIが浸透する以前からも知の高速道路の進化は凄かった1と思うが、生成AI登場以降はさらに進化したように感じる。生成AIのおかげで、これまでは理解するのが難しかったあるいは理解にとてつもなく時間をかけていたものが、比較的容易に理解できるようになった。これはわからなかったら、難度を下げて何度でも生成AIに聞けばいいからだ。

一方で生成AI時代の学びでかなり危険なのはわかった気になるのがめちゃくちゃ簡単なことだと思う。前のパラグラフで書いたことの裏返しだが、難度を下げて噛み砕いて説明してもらった結果、「あーそういうことね」とすぐになりがちなのだ。

わかった気になっているかを確認する簡単な方法は、誰かに内容を説明してみることだ。これはファインマンテクニックと呼ばれる有名な方法である。

説明時には以下の項目を話すようにしている。大体の技術は論文の骨子と似た次の構成になっており、流れはそのイメージに近い。

  • 背景。何かしら課題が存在する
  • 課題を解くための提案技術や手法
  • （実際に実験して検証した結果。論文ではない場合は、これがない場合もある）
  • その技術のメリットとデメリット

上記の構成を何も見ずにスラスラ話せるようになっているなら、実装できるかはおいといて、概略は理解できている可能性が高い。一方でスラスラ出て来ないんだったら、わかった気になっているだけだろう。

上記をオプティマイザを例にとって説明してみる。オプティマイザはSGDからMomentum、Adam、AdamW、etc… へと移ってきており、冒頭2つにしぼるとこんな感じだ。

  • SGDは、その時点の勾配だけを見てパラメータを更新する
  • ただし、更新方向が毎回ぶれるので、ジグザグ進んで学習が遅くなることがある
  • そこでMomentumでは、今の勾配だけでなくこれまで進んできた方向も使う
  • 同じ方向に進み続けているなら勢いをつけ、左右にぶれる動きは打ち消すようにする
  • SGDより早く収束するが、追加のハイパラや、勢いで欲しかった最小値を過ぎてしまうこともある

で、この後は「Momentumにはこういう課題があってAdamだと〜」と後続の技術に繋がっていく。こんな感じで話せるようになれば、少なくともわかった気になっている状態から、一歩は進めていると思う。

具体的にどうやるのか？

私が最近使っている方法をインプットとアウトプットで分けて書いておく。

インプット編

知の高速道路で一番発達したのが、動画だと思う。日本語でも良いコンテンツがあるが、英語であればスタンフォード大などの授業が普通に見れるようになっている。例えば、LLMをゼロから学びたいのであればCS336 Language Modeling from Scratch2という授業が見れる。なんだったら講義で使われている資料も全部置いてある。

「あーなんだ英語じゃん」となった方、そこで生成AIを使うと良いと思う。いくつか使い方のパターンがある。

  • 動画のみ
    • 講義動画をPCで再生しておいて、隣にスマフォでGPT-Liveをおいて逐次通訳させる
    • 英語である程度理解ができる場合は、普段は黙っておいてもらって、わからないところだけ動画を止めて、GPT-Liveに質問するのが良い
  • 動画 to テキスト
    • YouTubeの動画にはtranscript(文字起こし)がついている。これを全部LLMに読み込ませて、さらに講義資料pdfなども読み込ませて自分専用の日本語解説Webテキストを作ってもらう
      • PDFであれば、今のフロンティアモデルはいい感じに抜き取って説明文と図を配置してくれる
    • ざっとこれを予習あるいは復習に使う
  • 動画 to 音声（NotebookLM）
    • 授業動画の内容をNotebookLMで音声化する。で一度、音声化した対談からざっくり教えてもらう。NotebookLMは謎のメタファーを連発するのでたまにわかりにくくなることがあるが、それでも役立つことが多い
  • 書籍
    • 難しい書籍で理解できないところは、該当ページを写真あるいはスクショしてChatGPTなどに一度噛み砕いて解説してもらう
      • わからないところがあれば何度か往復して理解を試みる
      • 生成AIの普及以前は輪読会でカバーしていた部分だった
    • なお、ビジネス系書籍はさらっと読み流せるのでAIはあんまり使ってない
  • 書籍（オライリー）
    • 書籍なんだけどオライリーだけ別に切り出した
    • なぜかというと、オライリー学習プラットフォームが凄すぎるため
      • サブスクで技術書が読みたい放題となる
      • さらに嬉しいのは、英語の書籍の先行リリースも先に読めること
        • 翻訳書籍はどうしても時差があり、マネジメント系は別にそれでもいいが、AIの技術書籍は技術変化が激しいのでできるだけ英語の方が良い（英語でも書籍だとだいぶ古いなーと思うこともある）
    • で、英語書籍であっても今は生成AIパワーですんなり読めるので、かなり勉強しやすくなっている

アウトプット編

アウトプットは前述したファインマンテクニックを使う。個人的に両手は塞がるけど口と耳が空いている時間がそれなりにあるため、その時間を活用してインプットした内容をGPT-Liveに対して話して出力してみている。

具体的にはこんな感じだ。

  • まず「今から自分が〜について説明するから、間違えているところがあったら教えて」と伝えて話し始める
  • で、そもそも話せずに詰まったところがあったら、それは理解が浅い状態。「〜について調べてほしい。で、〜について教えて」とGPT-Liveに情報を調べてもらって、逆に教えてもらう
  • で、また最初に戻って自分が話してみる
  • そのまま最後まで自分が説明しきれた場合であっても「これまでの説明で、間違っているところがあれば教えて」と話せば、GPT-Liveがフィードバックしてくれる。3

他にもちろん勉強会で登壇してみるとか、ブログ記事を書いてみるのも良いと思う。例えばブログ記事であればMixture of Experts 基礎技術メモは自分が実際アウトプットで試したものだ。執筆時の前半はスラスラ書けていたけど、Auxiliary Load Balancing Lossのセクションで、論理が途端にあやふやになったので理解できてなかったことに気づいた。で、もう一度勉強し直して書き直したのだった。

おわりに

また来年になったら勉強法を変えているかもしれないけど、とりあえず現時点での勉強法をまとめておいた。

  1. SFC-GCにはお世話になった。今は休止中とのこと。 ↩

  2. 最近個人的に見ているもの。本当に最高の授業シリーズ。 ↩

  3. 当然、ハルシネーションが起きる場合もあるので、聞いていて何か引っかかった場合は別のチャネルで真偽を確認する ↩