<aside> 💡

「ゆる AI Agent会」は、IVRy の有志メンバーが毎週集まり、各自が「面白そう」と思った AI / エージェント関連のトピック（論文、新モデル、ツール、概念など）を持ち寄って、ゆるく話す会です。このページでは 2026-10-09 回で話した内容をまとめています。

</aside>

https://ivry.jp/lp-article/data-team/

1. Hermes Index とエージェント向けベンチマーク（tagucci）

資料

• Hermes Index | Agentic Model Leaderboard
• ELYZA のオリジナルベンチマーク（zenn.dev）
• DeepSeek Harness を fork して使っている話

概要

Nous Research が公開した Hermes Index は、Hermes Agent を共通のハーネスとして各モデルを組み合わせ、エージェントとしての性能を横並びで計測するリーダーボード。新モデルのリリース時に出るベンチマークスコア（例：Terminal Bench）は各社のハーネス込みの数字であることが多く、ハーネスを揃えて比較できる点が面白い。

話した内容

SkillsBench

• Terminal Bench のような「コード修正・コマンド実行」系とは異なり、Skill を与えたときにモデルがどれだけ有効に使えるかを測るベンチマーク
• 請求書 PDF や Excel ファイルを渡し「こう加工して」という Skill を与えるタスク構成
• Skill なしだとタスク完了率は3割弱、Skill ありだと5割程度まで向上。Skill の定義自体がハーネスの一種としてモデルの能力を引き出している
• 定期実行のような処理は確定的・安価に寄せつつ、ものによっては Skill 化するのも有効そう
• ただし「Skill が大量（100個以上など）にあるときに正しく選択できるか」は別の能力で、このベンチマークでは測っていない

ELYZA のオリジナルベンチマーク

• シナリオだけ人が書き、ほぼ AI で作成したとのこと。自前の評価データ作成の参考になりそう

DeepSeek Harness（DSH）