12. 基礎理論

大規模言語モデル（LLM）を特定の業務や

用途（ようと / use case）に適応（てきおう / adaptation）させるために、

事前学習済み（pre-trained）のモデルに対して特定のタスクに関するデータを使って追加学習（additional learning）を行う手法はどれか。

Term: ファインチューニング（fine-tuning／微調整・びちょうせい）

Core meaning (EN):

A transfer learning technique that further trains a

pre-trained large language model on task-specific data

to adapt it for a particular domain or application.

Trigger words (JP):

・事前学習済みモデルへの追加学習（ついかがくしゅう / additional learning on pre-trained model）

・特定タスクへの適応（てきおう / adaptation to specific tasks）

・転移学習（てんいがくしゅう / transfer learning）

・ドメイン特化（とくか / domain specialization）

・学習データの追加（ついか / addition of training data）

Why not (JP):

「プロンプトエンジニアリング（prompt engineering）」と

混同しやすいが、プロンプトエンジニアリングは

モデルのパラメータ（parameter）を変更せずに

入力文（にゅうりょくぶん / input text）を工夫することで

出力を制御する手法である。

ファインチューニングはモデル自体の

パラメータを更新（こうしん / update）して

特定タスクに最適化（さいてきか / optimize）する点が異なる。

AIのシステムが試行錯誤（しこうさくご / trial and error）を

繰り返しながら、ある行動に対して与えられる報酬（ほうしゅう / reward）を

最大化（maximize）するように自ら（おのずから）学習していく

機械学習の手法はどれか。

Term: 強化学習（きょうかがくしゅう / Reinforcement Learning）

Core meaning (EN):

A machine learning method where an agent learns optimal

behavior by taking actions in an environment and

receiving rewards or penalties as feedback.

Trigger words (JP):

・報酬を最大化（ほうしゅうをさいだいか / maximize reward）

・試行錯誤（しこうさくご / trial and error）

・エージェントと環境（かんきょう / agent and environment）

・行動と報酬（こうどうとほうしゅう / action and reward）

・最適な行動の学習（さいてきなこうどうのがくしゅう / learning optimal behavior）

Why not (JP):

「教師あり学習（きょうしありがくしゅう / supervised learning）」と

混同しやすいが、教師あり学習は

正解ラベル（せいかいラベル / correct label）付きのデータを

使ってモデルを学習させる手法である。

強化学習は正解データを与えず、

報酬という形のフィードバック（feedback）のみを頼りに

自ら最適な行動を学ぶ点が根本的に異なる。

大規模言語モデル（LLM）の開発において、

特定のタスクに特化（とくか/ specialization）する前に、

インターネット上の大量のテキストデータを

使って言語の構造や知識（knowledge）を幅広く（はばひろく / broadly）

学習させる段階（だんかい）はどれか。

Term: 事前学習（じぜんがくしゅう / Pre-training）

Core meaning (EN):

The initial training phase of a large language model

where it learns general language patterns and knowledge

from massive datasets before being adapted for specific tasks.

Trigger words (JP):

・大量データによる汎用的な学習（はんようてきながくしゅう / general learning with large data）

・言語の構造・知識の習得（しゅうとく / acquisition of language structure and knowledge）

・ファインチューニングの前段階（まえだんかい / stage before fine-tuning）

・基盤モデル（きばんモデル / foundation model）

・転移学習の出発点（てんいがくしゅうのしゅっぱつてん / starting point of transfer learning）

Why not (JP):

「ファインチューニング」と混同しやすいが、

ファインチューニングは事前学習済みのモデルに対して

特定タスクのデータで追加学習（ついかがくしゅう / additional learning）する

段階である。

事前学習は特定タスクを想定せず

汎用的（はんようてき / general-purpose）な言語理解を

獲得（かくとく / acquire）する最初の段階である点が異なる。

コンピュータで浮動小数点数（ふどうしょうすうてん/ floating point number）の

演算を行った際に、計算結果を有限（ゆうげん / finite）のビット数で表現できないために発生する誤差（ごさ / error）はどれか。

Term: 丸め誤差（まるめごさ / Rounding Error）

Core meaning (EN):

An error that occurs when a floating-point calculation

result cannot be represented exactly within the finite

number of bits available, requiring rounding or truncation.

Trigger words (JP):

・有限ビットで表現できない（ゆうげんビットでひょうげんできない / cannot represent in finite bits）

・浮動小数点演算（ふどうしょうすうてんえんざん / floating-point arithmetic）

・近似値（きんじち / approximate value）

・切り捨て・切り上げ（きりすて・きりあげ / truncation · rounding up）

・数値の精度（せいど / numerical precision）

Why not (JP):

「桁あふれ誤差（けたあふれごさ / overflow error）」と

混同しやすいが、桁あふれ誤差は

計算結果が表現できる数値の範囲（はんい / range）を

超えた（こえた）場合に発生する誤差である。

丸め誤差は範囲内であっても有限のビット数では

正確に表現できない値を近似（きんじ / approximate）する

際に発生する点が異なる。

コンピュータで整数（whole number）や

浮動小数点数（ふどうしょうすうてん/ floating-point arithmetic）の

演算(operation)を行った際に、計算結果がそのデータ型で表現できる最大値（さいだいち / maximum value）を

超えて（こえて）しまう現象はどれか。

Term: オーバーフロー（overflow／桁あふれ・けたあふれ）

Core meaning (EN):

A condition that occurs when the result of an arithmetic

operation exceeds the maximum value representable by

the data type, causing incorrect or undefined behavior.

Trigger words (JP):

・表現できる最大値を超える（さいだいちをこえる / exceed maximum representable value）

・桁あふれ（けたあふれ / digit overflow）

・データ型の範囲外（はんいがい / out of range of data type）

・演算結果の異常（えんざんけっかのいじょう / abnormal calculation result）

・符号付き整数（ふごうつきせいすう / signed integer）

Why not (JP):

「丸め誤差（まるめごさ / rounding error）」と混同しやすいが、

丸め誤差は表現範囲内の値を有限ビットで

正確に表せないために生じる近似（きんじ / approximation）の誤差である。

オーバーフローは表現できる範囲そのものを

超えてしまう点が根本的に異なる。

コンピュータで浮動小数点数（ふどうしょうすうてん）の

演算（えんざん）を行った際に、計算結果がそのデータ型で

表現できる最小値より絶対値（ぜったいち / absolute value）が

小さくなりすぎてゼロとして扱われてしまう現象はどれか。

Term: アンダーフロー（underflow／けた不足・けたぶそく）

Core meaning (English):

A condition where a floating-point calculation result

is too close to zero to be represented, causing it

to be treated as zero and losing precision.

Trigger words (JP):

・表現できる最小値より小さい（さいしょうちよりちいさい / smaller than minimum representable value）

・ゼロとして扱われる（あつかわれる / treated as zero）

・絶対値が極めて小さい（ごくめてちいさい / extremely small absolute value）

・浮動小数点演算（ふどうしょうすうてんえんざん / floating-point arithmetic）

・精度の喪失（せいどのそうしつ / loss of precision）

Why not (JP):

「オーバーフロー」と混同しやすいが、

オーバーフローは計算結果が表現できる

最大値（さいだいち / maximum value）を超える現象である。

アンダーフローは逆に絶対値が小さすぎて

ゼロに丸められる（まるめられる）点が異なる。

浮動小数点数（ふどうしょうすうてん）の演算において、

絶対値（ absolute value）がほぼ等しい二つの数値を減算（げんさん / subtraction）した際に、有効桁数（ゆうこうけたすう / significant digits）が大幅に（おおはばに / significantly）減少して精度（せいど / precision）が著しく

低下（ていか / deterioration）する現象はどれか。

Term: けた落ち（桁落ち / Cancellation Error）

Core meaning (EN):

A floating-point error that occurs when subtracting

two nearly equal numbers, causing a dramatic loss of

significant digits and reduced numerical precision.

Trigger words (JP):

・ほぼ等しい数値の減算（げんさん / subtraction of nearly equal values）

・有効桁数の減少（ゆうこうけたすうのげんしょう / reduction of significant digits）

・精度の低下（せいどのていか / loss of precision）

・浮動小数点演算（ふどうしょうすうてんえんざん / floating-point arithmetic）

・情報の喪失（じょうほうのそうしつ / loss of information）

Why not (JP):

「丸め誤差（まるめごさ / rounding error）」と混同しやすいが、

丸め誤差は有限ビットで正確に表現できない値を

近似（きんじ / approximate）する際に生じる誤差である。

けた落ちはほぼ等しい値の減算によって

有効桁数が急激に（きゅうげきに / drastically）失われる

点が異なる。