Union Alphaの、その後。
Paretoを仕事の条件で測る。
名前の話題性より、欲しい形式で返り、条件を守り、道具の結果を読み取れるか。12課題を固定し、3モデルで各2回ずつ試しました。
自作12課題×2回・3モデルの小規模比較です。24種類の問題ではありません。SQL課題は同じスキーマを使い、前回の簡易評価と関連があります。全用途の順位や信頼性を示しません。料金は使用量を取得できた応答のみの推計で、ParetoのHTTPエラー2件の費用は不明です。
まず結果を、全部。
| Model | 成功 / 24試行 | HTTP成功時の応答中央値 | 使用量取得分の料金推計 | HTTPエラー |
|---|---|---|---|---|
| Pareto 26.9 | 21 / 24 | 3.00s | ¥3.779 | 2 |
| Kimi K3 | 21 / 24 | 7.94s | ¥17.515 | 0 |
| Solar Mini 4 | 18 / 24 | 2.90s | ¥0.599 | 0 |
秒数は通信を含む回答完了時間の中央値で、最初の文字までのTTFTではありません。料金は各モデル全リクエストの返却トークン数×取得時のteai単価（キャッシュ割引前）の合計です。残高差分・確定請求ではありません。
分野ごとの内訳
| Category | Pareto 26.9 | Kimi K3 | Solar Mini 4 |
|---|---|---|---|
| arithmetic | 4/4 | 4/4 | 4/4 |
| extraction | 6/6 | 5/6 | 4/6 |
| logic | 4/4 | 4/4 | 4/4 |
| policy | 4/4 | 4/4 | 4/4 |
| sql | 2/4 | 2/4 | 0/4 |
| tool | 1/2 | 2/2 | 2/2 |
失敗を隠さない
Pareto 26.9
sql_join_repair (run 1), sql_join_repair (run 2), tool (run 2)
Kimi K3
untrusted_record (run 1), sql_join_repair (run 1), sql_join_repair (run 2)
Solar Mini 4
invoice (run 1), sql_correlated (run 1), sql_join_repair (run 1), invoice (run 2), sql_correlated (run 2), sql_join_repair (run 2)
ParetoはSQLだけという指定へのコード枠・説明の追加が1件、HTTP 502が2件。Kimi K3はJSONやSQLにコード枠・説明を付けた形式違反3件。Solarは請求集計とSQLで空回答が各反復に発生し、計6件でした。形式違反をSQLの意味的な誤りと混同しません。
空回答、形式違反、HTTPエラー、別モデルへの代替も失敗として扱いました。ツール課題は正しい引数での呼び出しと、結果を受けた最終回答の両方が必要です。失敗したリクエストの自動再試行はしていません。
測り方を固定する
抽出3、計算2、論理2、規則2、SQL2、ツール1の計12課題。各2回、temperature=0、max_tokens=2048、同一system指示。teaiのOpenAI互換APIで順番をローテーションして逐次実行しました。モデルごとの隠れた推論量は揃っていません。
JSON/文字列は期待値と比較。SQLは読み取り専用の一時SQLiteで実行し、複数支払い・同額の別請求・請求なし・入金なしを検査。採点に別のLLMは使いません。モデルIDとルート情報を保存し、指定モデルからの応答か確認しました。
この結果はteai経由のエンドツーエンド評価です。異なるプロバイダーや時間帯、長い会話・実務素材では結果が変わります。類似のSQL課題を含むため独立な24サンプルとして統計的な優位を主張しません。
どう使うか
Paretoをまず1件のコード修正や記録整理で試し、手元のテストで確認するのが次の一歩です。低価格モデルへの振り分けは、必要な条件を満たす仕事から。今回の結果だけで既定モデルは切り替えていません。
curl https://teai.io/v1/chat/completions \
-H "Authorization: Bearer $TEAI_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"unbiased/pareto","messages":[
{"role":"user","content":"Return only the result of 137 * 29."}
],"max_tokens":2048,"stream":false}'Union AlphaからParetoへ
9月18日の報道で、匿名モデルUnion AlphaがUnbiased AIのPareto 26.9と判明しました。無料試用は終了し、現行のモデルIDはunbiased/paretoです。提供元のベンチマークは今回の実測と混ぜていません。