生成AI・LLM・転移学習
LLMの仕組み、転移学習・ファインチューニング・RAG。 G検定で扱った概念をDS視点で再整理。
生成AIとLLMの基本、そして実務で重要な転移学習・ファインチューニングの理解。
胡桃 あんず
ChatGPTみたいな生成AIも、機械学習の一種なんだよね?
若葉 みどり 先生
そう、生成AI(Generative AI)は『新しいコンテンツを生成するAI』。 中核はLLM(大規模言語モデル)ね。
白銀 ゆき
LLMは大量のテキストで事前学習したTransformerベースのモデル。 数千億〜数兆のパラメータを持つ。 GPT・Claude・Gemini など。
桜井 もも
事前学習ってなぁに?
白銀 ゆき
インターネット上の膨大なテキストを使って、『次の単語を予測する』タスクを学習する段階のこと。 ここで言語の一般的なパターンを覚えるのよ。
胡桃 あんず
転移学習 と ファインチューニングの違いは?
若葉 みどり 先生
転移学習は『汎用モデルを別タスクに転用する』広い概念。 ファインチューニングは『その既存モデルを少量のタスク専用データで微調整する』具体的手法。 ファインチューニングは転移学習の一種。
白銀 ゆき
医療分野ではドメイン特化のファインチューニングをした医療LLM、コーディングでは Code LLM など、目的別の特化モデルが増えている。
桜井 もも
プロンプトエンジニアリングって何ですかぁ?
白銀 ゆき
LLMに対する『指示の出し方』の工夫。 例: Zero-shot=指示のみ、Few-shot=例示つき、Chain-of-Thought=思考過程を促す指示。
胡桃 あんず
RAGってのもあるよね?
若葉 みどり 先生
RAG(Retrieval-Augmented Generation)は外部知識ベースから関連情報を検索し、それをLLMに与えて回答させる仕組み。 ファインチューニングなしで知識を注入できる。
白銀 ゆき
DS検定★レベルでは、『LLMはTransformerベース』『生成AIは新しいコンテンツを生成するAI』『転移学習・ファインチューニング・プロンプトエンジニアリング・RAGの定義』を押さえれば十分。
確認クイズ
RAG(Retrieval-Augmented Generation)の特徴として正しいのはどれか。
- LLM のパラメータを再学習する
- 外部知識ベースから関連情報を検索し、LLMに与えて回答させる
- 教師なし学習の一種
- 画像生成専用の手法
こたえを見る
正解: 2. 外部知識ベースから関連情報を検索し、LLMに与えて回答させる
外部知識ベースから関連情報を検索し、LLMに与えて回答させるのがRAGです。 ファインチューニングなしで最新情報や社内文書をLLMの回答に取り込めるため、企業導入で広く使われています。
この記事の関連書籍
Amazonアソシエイトリンクを含みます。他分野は おすすめ書籍ページ へ。
この記事について
データサイエンティスト検定スタディが作成した教材です。運営について・記事の作り方
試験についてはこちらをご覧ください: データサイエンティスト協会 公式サイト