モデル選択ガイド
モデルルーティングカスケード：安いモデルと高性能モデルの使い分け方
Budget モデルとプレミアムフロンティアモデルのトークン単価差は 50 倍以上になることがあります。 しかし、ほとんどのリクエストにフロンティアレベルの性能は必要ありません。 カスケード戦略では各タスクを最も安価な適切な層にルーティングし、必要な場合のみ上位層にエスカレーションします。 これにより出力品質を保ちながらコストを 40–60% 削減できます。
層の定義
4 つの料金・性能層
各層は現在のカタログデータから自動計算しています。料金は変動するため、実際のルーティング設計時にはモデルページの最新料金を確認してください。
Budget 層 — $0.30 / 100 万トークン未満
最適な用途：分類、抽出、単純な Q&A、大量スループット処理
高速で低コスト。誤答が検出しやすく再試行が容易な単純タスクに適しています。フィルタリング、ラベリング、深い推論が不要なシングルターンチャットに最適です。
| モデル | プロバイダー | 入力 / 100 万トークン | 出力 / 100 万トークン | コンテキスト |
|---|---|---|---|---|
| Llama-3.2-3B-Instruct deepinfra | deepinfra | $0.020 | $0.020 | 131.1K |
| llama3.2-11b-vision-instruct lambda_ai | lambda_ai | $0.015 | $0.025 | 131.1K |
| llama3.2-3b-instruct lambda_ai | lambda_ai | $0.015 | $0.025 | 131.1K |
Mid 層 — $0.30 から $2.00 / 100 万トークン
最適な用途：RAG、要約、顧客向けチャット、中程度の推論
性能とコストのバランスが取れた層。マルチターン対話、検索拡張生成 (RAG)、文書要約など、8K–32K のコンテキストが一般的なタスクに適します。Budget 層より高いコストの代わりに、指示追従性能と低エラー率を提供します。
| モデル | プロバイダー | 入力 / 100 万トークン | 出力 / 100 万トークン | コンテキスト |
|---|---|---|---|---|
| amazon.nova-lite-v1:0 bedrock_converse | bedrock_converse | $0.060 | $0.240 | 300.0K |
| zephyr-7b-beta anyscale | anyscale | $0.150 | $0.150 | 16.4K |
| gemma-7b-it anyscale | anyscale | $0.150 | $0.150 | 8.2K |
Premium 層 — $2.00 / 100 万トークン以上
最適な用途：複雑な推論、コーディング、分析、エージェントオーケストレーション
最大のコンテキストウィンドウ、最強の指示追従性能、最も広い機能セット（ツール使用、コード生成、構造化出力）を持つフロンティアモデル。タスク品質がユーザー体験に直接影響する場合や、Budget / Mid 層が不適切な結果を繰り返す場合に使用します。
| モデル | プロバイダー | 入力 / 100 万トークン | 出力 / 100 万トークン | コンテキスト |
|---|---|---|---|---|
| amazon.titan-text-premier-v1:0 Bedrock | Bedrock | $0.500 | $1.50 | 32.0K |
| CodeLlama-34b-Instruct-hf anyscale | anyscale | $1.00 | $1.00 | 4.1K |
| CodeLlama-70b-Instruct-hf anyscale | anyscale | $1.00 | $1.00 | 4.1K |
Reasoning 層 — 思考連鎖（Chain-of-Thought）モデル
最適な用途：数学、論理、複数ステップの計画、自己批判チェーン
Reasoning 対応モデルは回答前に内部的な思考連鎖を生成します。検証、バックトラック、段階的分解が必要な問題に優れます。Reasoning フラグは Budget から Premium まで幅広い価格帯のモデルに付与されているため、価格帯は大きく異なります。
| モデル | プロバイダー | 入力 / 100 万トークン | 出力 / 100 万トークン | コンテキスト |
|---|---|---|---|---|
| qwen3-4b-fp8 novita | novita | $0.030 | $0.030 | 20.0K |
| google.gemma-4-e2b Bedrock Mantle | Bedrock Mantle | $0.040 | $0.080 | 128.0K |
| gpt-oss-20b OpenRouter | OpenRouter | $0.020 | $0.100 | 32.8K |
カスケード戦略
カスケードでコストを削減する仕組み
1. タスクの種類でルーティング
各リクエストを分類：単純な Q&A、RAG、コーディング、計画？最も安い適切な層に割り当てます。
2. まず最も安い層を試す
Budget または Mid モデルにリクエストを送信。信頼度や出力品質を確認します。
3. 失敗時にエスカレーション
安価なモデルが低信頼度・不完全・不正解の場合、上位層で再試行します。
4. 追跡とチューニング
タスク種類ごとのエスカレーション率を記録。新モデルの登場やワークロードの変化に合わせて層割り当てを調整します。
コスト比較
カスケード vs 常に Premium
このシナリオ（入力 2,000 トークン + 出力 1,000 トークン、 月間 100,000 リクエスト）では、カスケードがリクエストの 90% を Budget 層、 8% を Mid 層、2% を Premium 層にルーティングします。
推定削減率：95%。 実際の削減率はタスク構成、エスカレーション率、モデル固有の料金によって異なります。
タスク種類の推奨
ワークロードに合った層の選び方
| タスクの種類 | 推奨層 | 理由 |
|---|---|---|
| 分類、抽出、単純な Q&A | Budget | 高スループット、低複雑度 |
| 顧客向けチャット、RAG、要約 | Mid | 性能とコストのバランス |
| コーディング、分析、複数ステップの推論 | Premium または Reasoning | 広いコンテキストと強力な推論が必要 |
| 数学、論理、自己批判チェーン | Reasoning | 思考連鎖の出力が大部分を占める |
| 複数ステップのエージェント（複雑度が不確定） | カスケード（Budget / Mid / Premium） | 安価な層から始め、失敗時にエスカレーション |
実装パターン
カスケードを実装する 3 つの方法
シンプルスイッチ
タスク種類ごとに if-else 分岐。各タスクは固定のモデル層にマッピングされます。実装とデバッグが容易ですが、リクエストごとの柔軟な層変更はできません。
信頼度ベース
まず Budget モデルを呼び出し、出力の信頼度スコア（または検証チェック）がしきい値を下回った場合、上位層で再試行。リクエストごとに適応しますが、失敗時のレイテンシが増加します。
パラレル
同じリクエストを 2 つの層に同時送信。最良の結果を採用するか、Budget の結果が検証に失敗した場合に Premium の出力を使用。最も低レイテンシですが、全リクエストでトークンコストが 2 倍になります。
実際のワークロードを計算機に入力する
トークン数、リクエスト量、キャッシュ動作によって最適な層は変わります。実際の数値を計算機に入力してからルーティング計画を確定してください。
注意点
このガイドがカバーしないこと
このページは価格と機能フラグのみで層を定義しています。同一層内の出力品質、レイテンシ、レート制限、プロバイダーの信頼性を評価するものではありません。 カスケードパターンはアプリケーションが低品質出力を検出して再試行できることを前提としていますが、すべてのワークフローでこれが可能とは限りません。 料金とモデルの利用可能性は頻繁に変わります。本番のルーティング計画を構築する前に、必ずモデル詳細ページと公式プロバイダーソースで最新料金を確認してください。