AI-Guided Learning
深層学習による音声動画処理技術を用いた知識および技能獲得支援手法の研究
Research on Knowledge and Skill Acquisition Support Methods Using Deep Learning Audio-Video Processing Techniques
01 AI-Guided Learning とは What is AI-Guided Learning?
AI-Guided Learningは、河村和紀が博士論文で定義・体系化した研究枠組みです。AIが学習者の代わりに課題を解くのではなく、学習者の自律性を保ったまま習得の過程そのものを最適化します。
AI-Guided Learning is a research framework defined and developed by Kazuki Kawamura in this doctoral dissertation. AI does not do the task for the learner; it optimises how the learner acquires knowledge and skills while preserving learner autonomy.
動画や音声は、いまやテキストと並ぶ主要な学びの手段です。通勤中のポッドキャスト、講義動画、熟練者の実演——場所と時間の制約から解放された学習が当たり前になりました。ところがこの自由には、テキスト学習にはなかった二つの代償がついてきます。
Audio and video are now primary learning media alongside text: podcasts on the commute, lecture recordings, videos of experts at work. That freedom from time and place, however, carries two costs that text-based study never had.
ひとつは時間の非効率です。長尺のコンテンツは原則として頭から順に消費するしかなく、易しい箇所にも難しい箇所にも同じ時間を払うことになります。もうひとつはフィードバックの欠落です。手本を真似て技能を身につけようとしても、自分の遂行が手本からどれだけ、そしてどこが離れているのかを、学習者自身は客観的に判断できません。人間の指導者ならそれを教えられますが、指導者は学習者の数だけ用意できません。
The first is time inefficiency: long-form content must be consumed sequentially, so the easy passages cost as much time as the hard ones. The second is a feedback deficit: a learner imitating a model cannot objectively judge how far — and where — their own performance deviates from it. A human instructor can tell them, but instructors do not scale.
本論文は、この二つを別々の問題として扱いません。技能習得は「消費 → 理解 → 模倣」という自然な流れをたどるという観察から出発し、各段階に深層学習による支援を配置する統合的な枠組みとして定式化します。
The dissertation does not treat these as separate problems. Starting from the observation that skill-based learning follows a natural progression, it formalises an integrated framework that places deep-learning support at each stage of that progression.
- PHASE 1 Consume 必要な情報に、無駄な時間をかけずに到達する Reach what you need without wasting time on the rest
- PHASE 2 Understand 自分の理解度に合わせて内容を深く咀嚼する Digest the content deeply, at your own level
- PHASE 3 Imitate 客観的なフィードバックを得ながら技能を身につける Acquire the skill while receiving objective feedback
02 3つのシステム Three systems
枠組みを実証するため、各段階に対応する3つのシステムを実装し、被験者実験で評価しました。
To realise the framework, three systems were built — one per phase — and evaluated with human participants.
AIxSpeed
PHASE 1 · CONSUME数時間に及ぶポッドキャストやオーディオブックを一定倍速で再生すると、聞き取りやすい箇所で時間を浪費する一方、聞き取りづらい箇所では内容を取りこぼします。音声認識モデルの確信度は人間の聞き取りにくさと相関するという仮説を立て、意味解析を一切用いず音響特徴だけから音素単位で再生速度を動的に調整するシステムを構築しました。
Play a multi-hour podcast at a constant speed and you waste time on the easy stretches while missing content in the hard ones. Starting from the hypothesis that speech-recognition confidence correlates with human listening difficulty, AIxSpeed adjusts playback speed at the phoneme level from acoustic features alone — no semantic analysis required.
FastPerson
PHASE 2 · UNDERSTAND講義動画では、重要な情報が語り・スライド・実演という複数のモダリティに分散しています。既存の要約手法の多くは文字起こしを生成するため、この豊かさが失われ、元のコンテンツとの連続性も断たれます。FastPerson は映像と音声の両方のストリームを解析して要約動画を生成し、音声クローン技術で話者の声を保つことで元の講義に近い学習体験を維持します。さらに、理解度に応じて要約版と全編を章単位で切り替えられるインタフェースを実装しました。
In a lecture video, what matters is spread across speech, slides and demonstration. Most existing summarisers produce a transcript, discarding that richness and breaking continuity with the original. FastPerson analyses both the visual and the audio stream to generate a condensed video, using voice cloning to keep the original speaker's voice, and lets learners switch between the summary and the full video chapter by chapter.
Profy
PHASE 3 · IMITATE模倣による技能習得では、自分の遂行が手本からどれだけ、どこが離れているかを客観的に評価できません。Profy は注釈のない音声データから「良し悪し」を直接学習する深層学習モデルを構築し、分類器が重視した波形領域を可視化するとともに、ネイティブ話者分布からのモデル由来の音響的な距離を潜在空間上で提示します。これまで人間の指導者からしか得られなかったフィードバックを、モデルの側から与えようとするものです。第二言語の発音を具体例としていますが、手法自体は他の技能領域にも適用できます。
When learning by imitation, you cannot objectively see how far, or where, your performance departs from the model. Profy learns what counts as good and poor performance directly from unannotated audio, highlighting the waveform regions the classifier relies on and showing model-derived acoustic distance from native-speaker distributions in a latent space — feedback that until now came only from a human instructor. Second-language pronunciation is the worked example; the method generalises to other skill domains.
03 結論 Conclusion
3つのシステムは、学習の各段階でAIが有効な支援を提供できることを示しました。AIxSpeed は聞き取りやすさに応じて速度を変えることで消費段階の効率を上げ、FastPerson はマルチモーダルな情報を保ったまま学習時間を圧縮して理解を助け、Profy は模倣段階にモデル由来のフィードバックを与えます。学習者は必要な情報を時間効率よく取り出し、自分のペースで理解を深め、客観的なフィードバックを受けながら技能を身につけられます。本研究は、デジタル教育時代における音声動画学習支援の技術的基盤を確立しました。
Together the three systems show that AI can provide effective support at every stage of learning: AIxSpeed makes consumption efficient by adapting to intelligibility, FastPerson compresses study time while preserving multimodal information, and Profy supplies model-derived feedback during imitation. Learners can extract what they need time-efficiently, deepen understanding at their own pace, and acquire skills against objective feedback — a technical foundation for audio-visual learning support in the digital education era.
04 今後の方向性 What comes next
学ぶ人が自分の興味や目標に応じて知識・技能を獲得できるよう、オンライン上の動画や音声、生成AIを教材として活用し、学習の時間効率を高めるためにAIで学習プロセス全体を最適化する研究開発。また、その基盤として、達人や熟練者が持つ暗黙知の解明・保存と、多様な技能の理解・分類・予測を支える技能OSの実現を目指す。その先には、技能を情報のように記述・保存・再利用し、必要な人に必要な形で高速転移できる世界の実現を見据える。
Research and development that treats online video, audio and generative AI as teaching material, and uses AI to optimise the whole learning process so that people can acquire knowledge and skills according to their own interests and goals. Underpinning it: uncovering and preserving the tacit knowledge of experts, and building a “skill OS” for understanding, classifying and predicting skills of every kind. Further out, we envisage a world in which a skill can be described, stored and reused like information, and transferred at speed to whoever needs it, in the form they need.
05 構成 Chapters
全7章・127ページ。第3〜5章が各システムに対応します。
Seven chapters, 127 pages. Chapters 3–5 are the three systems.
- 1Introductionp.1
- 2Related Workp.13
- 3AIxSpeed: Playback Speed Optimization Using Listening Comprehension of Speech Recognition Modelsp.32
- 4FastPerson: Enhancing Video-Based Learning through Video Summarization that Preserves Linguistic and Visual Contextsp.49
- 5Profy: Pronunciation Evaluation and Visualization of Differences from Native Speaker Groups Using Unannotated Audio Datap.68
- 6Discussionp.83
- 7Conclusionp.92
06 関連する読みもの Further reading
07 引用 Citation
@phdthesis{kawamura2025aiguided,
title = {AI-Guided Learning: Research on Knowledge and Skill Acquisition
Support Methods Using Deep Learning Audio-Video Processing
Techniques},
author = {Kawamura, Kazuki},
school = {The University of Tokyo},
year = {2025},
type = {Ph.D. thesis},
doi = {10.48550/arXiv.2608.08990},
url = {https://casp.jp/publications/phd-thesis.html}
}