GenAI アプリケーションの運用効率と最適化12% · 3項目

Q1. 長い会話のチャットで、会話の履歴をすべて毎回送っているため、入力のトークンが増え続ける。最も適切な対策はどれか。

1. 会話の履歴をすべて 2 回ずつ送って、モデルが忘れないようにする
2. 古いやり取りを要約して短くし、最近のやり取りと要約だけを送る
3. 会話の履歴は送らずに、毎回の質問だけを送って前の話は無視する
4. 最大トークン数を大きくすれば、入力のトークンの費用は下がるとみなす

Q2. 回答に長い前置きや繰り返しが多く、出力のトークンの費用がかさむ。最も適切な対策はどれか。

1. 出力の長さは気にせずに、生成された回答をそのまま利用者にすべて表示する
2. 入力のプロンプトを長くすれば、出力は自然に短くなるとみなす
3. temperature を上げて、毎回違う長さの回答が出るようにしておく
4. 出力の形式と長さをプロンプトで決め、maxTokens で上限も設定する

Q1. プロンプトキャッシュの説明として誤っているものはどれか。

1. 入力のトークンの費用と遅延を減らせる
2. キャッシュには有効な時間（TTL）がある
3. キャッシュした部分の内容が毎回変わっても、同じように費用の削減の効果がある
4. 繰り返し送る長い先頭の部分の処理を減らせる

Q2. ベクトルストアの運用の説明として誤っているものはどれか。

1. 埋め込みのモデルを変えても、古いベクトルと新しいベクトルはそのまま比べられる
2. HNSW などの近似の検索のパラメータで、再現率と遅延のバランスを調整できる
3. レプリカを増やすと、読み取りの処理を分けられる
4. 量子化でベクトルのメモリーを減らせる

Q1. 生成 AI のアプリの月の費用が予算を超えそうなときに、早めに知らせてほしい。最も適切な方法はどれか。

1. Cost Explorer で毎週 Bedrock の費用の推移を確かめる
2. AWS Budgets で予算を作り、予測の金額が上限を超えそうなときに通知する
3. Service Quotas で Bedrock のクォータを下げ、使用量を抑える
4. CloudWatch のトークンの数のメトリクスにアラームを設定する

Q2. 先月から Bedrock の費用が急に 3 倍になった。原因が分からない。次に行うべきこととして最も適切なものはどれか。

1. CloudWatch のトークンの数をモデルと推論プロファイルごとに見て、増えた処理を特定する
2. プロンプトキャッシュを全アプリで有効にし、入力のトークンの費用を下げる
3. 最も使われているモデルを安いモデルに切り替え、翌月の費用で効果を見る
4. Cost Explorer で Bedrock のサービスの合計の推移を見て、増えた月を確かめる