基盤モデルの応用28% · 4項目

Q1. RAG（検索拡張生成）の説明として、最も適切なものはどれか。

1. モデルの回答を検索エンジンに登録し、社外の人が検索できるようにするための方法
2. 同じ質問をモデルに何度も繰り返し送って、最も多く出た回答を正しい答えとして選ぶための方法のこと
3. 社内の文書を使って、基盤モデルのパラメータを一から学習し直すための方法のこと
4. 質問に関係する文書を検索してプロンプトに加え、その内容に基づいてモデルに回答させる方法

Q2. 社内の手順書は頻繁に更新される。ファインチューニングと比べた RAG の利点として、最も適切なものはどれか。

1. 文書を更新すれば再学習なしで反映でき、回答の根拠の文書も示せる
2. 検索が要らないため、応答の遅延がファインチューニングより小さい
3. モデルが手順書の文体を覚え、回答の口調がそろう
4. 入力のトークン数が減り、1 回あたりの費用が下がる

Q1. チャットのアプリで、毎回同じ長いシステムプロンプト（社内のルールと例）をモデルに送っている。費用と応答時間を下げる機能として、最も適したものはどれか。

1. システムプロンプトを毎回 2 回ずつ送って、ルールをより強く守らせるようにする
2. 毎回別のモデルに送って、一番早く返ってきた回答だけを使うようにしておく
3. プロンプトキャッシュを使い、繰り返し送る同じ前半の部分を再利用する
4. 温度を最大の値にして、モデルが早く回答を書き終えるように調整しておく

Q2. RAG の仕組みについての説明のうち、正しくないものはどれか。

1. 文書は分割され、埋め込みとしてベクトルストアに保存される
2. RAG を使うと、検索した社内の文書でモデルのパラメータが毎回更新される
3. 検索した断片をプロンプトに加えて、モデルが回答を生成する
4. 利用者の質問も埋め込みに変換され、意味の近い文書の断片がベクトルストアから検索される

Q1. RAG のアプリで、正しい答えが文書にあるのに回答に含まれないことが多い。検索の結果を見ると、関係の薄い長い断片が返っている。次に行うべきこととして最も適切なものはどれか。

1. 温度を最大の値にして、モデルがより多くの情報を思い出せるように調整しておく
2. 文書をすべて削除して、モデルが一般的な知識だけで回答するように切り替えておく
3. チャンキングの大きさや方法を見直し、検索の結果が改善したかをテストの質問で確かめる
4. 基盤モデルを一から事前学習し直して、すべての文書の内容を覚えさせることにする

Q2. Amazon Bedrock のプロンプト管理でプロンプトのバージョンを作る利点として、最も適切なものはどれか。

1. バージョンを作ると、そのプロンプトでは料金が一切かからなくなる
2. バージョンを作るたびに、基盤モデルが自動でファインチューニングされる
3. バージョンを作ると、プロンプトが一般に公開されて誰でも使えるようになる
4. アプリが特定のバージョンを参照でき、問題があれば以前のバージョンに戻せる

Q1. プロンプトを修正して本番に反映したところ、回答の品質が下がったという報告が増えた。次に行うべきこととして最も適切なものはどれか。

1. プロンプトの変更の履歴を削除して、最初から書き直したことにしておく
2. 以前のバージョンのプロンプトに戻し、修正の案はテストの質問で評価してから出し直す
3. 問題が起きた理由を調べずに、プロンプトにさらに多くの指示を足して様子を見る
4. 利用者に品質が下がったことは伏せて、報告が減るまでそのまま待っておく

Q2. RAG のアプリを評価するとき、検索と生成のそれぞれで確認すべきこととして、最も適切なものはどれか。

1. ベクトルストアに保存した文書の数だけを確認し、検索の結果は確認しないでおく
2. 利用者の数だけを確認し、検索と回答の品質は利用者に判断を任せることにする
3. 回答の文字数が十分に長いかどうかだけを確認し、内容の正しさは確認しないでおく
4. 検索した文書が質問に関係しているか、回答が検索した内容に忠実で正しいかを確認する