Chatbot
短い input、短い output、月間で繰り返される message 数から、シンプルな chatbot cost を比較します。
見るべき点
chatbot では非常に大きな context よりも、input price と output price の低さが効きやすくなります。速くて安い turn が積み重なる model をまず確認してください。
初期シナリオ
このページは 1 message あたり 500 input tokens、300 output tokens、1 user あたり月 100 messages、月 1,000 users から開始します。
初期シナリオで低コストな chatbot models
この table は server-rendered なので、script 実行前でも検索エンジンが model、input price、output price、estimated monthly cost を読めます。
| Model | Input | Output | Monthly cost |
|---|---|---|---|
| titan-embed-text-v2 | $0.0200 / 1M tokens | N/A | $1.00 |
| Qwen2.5-Coder-3B-Instruct | $0.0100 / 1M tokens | $0.0300 / 1M tokens | $1.40 |
| Qwen2.5-Coder-7B-Instruct | $0.0100 / 1M tokens | $0.0300 / 1M tokens | $1.40 |
| Qwen2.5-Coder-7B | $0.0100 / 1M tokens | $0.0300 / 1M tokens | $1.40 |
| llama3.2-11b-vision-instruct | $0.0150 / 1M tokens | $0.0250 / 1M tokens | $1.50 |
| llama3.2-3b-instruct | $0.0150 / 1M tokens | $0.0250 / 1M tokens | $1.50 |
| Llama-3.2-3B-Instruct | $0.0200 / 1M tokens | $0.0200 / 1M tokens | $1.60 |
| paddleocr-vl | $0.0200 / 1M tokens | $0.0200 / 1M tokens | $1.60 |