2026-09-04 ゆるAI Agent会

<aside> 💡

「ゆる AI Agent会」は、IVRy の有志メンバーが毎週集まり、各自が「面白そう」と思った AI / エージェント関連のトピック（論文、新モデル、ツール、概念など）を持ち寄って、ゆるく話す会です。このページでは第1回となる 2026-09-04 回で話した内容をまとめています。

</aside>

1. エージェントの評価とコスト最適化（Moriya）

エージェントの評価をどう作るか（Anthropic）、自作ベンチマークで Skill やメモリの効果を検証した事例（Ramp）、モデル使い分けによるコスト最適化（Cognition）の3本を紹介。

Anthropic「Demystifying evals for AI agents」

単発の LLM 評価と違い、エージェントはマルチターン・ツール呼び出し・外部状態の変更を伴うため評価が難しい。task・trial・transcript（trace）・outcome などの用語を整理した上で、評価の作り方を丁寧に解説している
採点は「コードベース・モデルベース・人間」の3種類にそれぞれメリット・デメリットがある。小さな改善はコードやモデルで回し、ハーネス全体に関わるような大きな変更は人が確認する、という使い分け
評価基盤がないと雰囲気でアップデートしてリグレッションを起こす。先に評価を整備すべき
非決定性の指標として pass@k（k回中1回でも成功する確率）と pass^k（k回すべて成功する確率）を使い分ける。顧客向けでは安定性を見る pass^k が重要

Ramp「Stack Benchmarking」

会計エージェントのために、現役会計士が作成・採点した独自ベンチマークを構築
Skill を一つずつ載せて効果を測ると、性能が上がるのは一部だけで、下がる Skill もあった。さらに複数を組み合わせたときの効果は、単体での結果からは予想できないズレがあった
メモリのオン／オフでも結果が大きく変わる。「何が起きたか」ではなく「どう再現するか」を残すメモリが効く