<aside> 💡

「ゆる AI Agent会」は、IVRy の有志メンバーが毎週集まり、各自が「面白そう」と思った AI / エージェント関連のトピック（論文、新モデル、ツール、概念など）を持ち寄って、ゆるく話す会です。このページでは 2026-10-02 回で話した内容をまとめています。

</aside>

https://ivry.jp/lp-article/data-team/

1. Databricks の ai_decide と評価ハーネス Harbor（tagucci）

資料

• Running open-Jev in SQL on Databricks | Databricks Blog
• Introducing ai_decide: make fast decisions on your governed data | Databricks Blog
• Terminal-Bench
• Terminal-Bench 2.0 announcement

概要

Jev 公開（9/15）から約2週間で、Databricks に SQL から呼べる ai_decide 関数が入った。あわせて、Terminal-Bench で使われている評価ハーネス Harbor について共有。

話した内容

ai_decide

• Jev 公開 → Databricks で open-Jev を SQL から動かすブログ → ai_decide 関数として本体に組み込み、というスピード感

Harbor とは

• 新モデルのリリースページに並ぶ Agentic Coding のスコア（Terminal-Bench など）の裏側で使われている評価ハーネス
• 任意のエージェント（Claude Code、Codex CLI など）を、共通の実行環境・検証・記録の仕組みで評価できる。並列実行や RL 用のロールアウト生成にも対応
• 「課題 × エージェント × モデル × 反復」の組み合わせが増えるほど、実行・採点まわりを共通化する価値が大きい

flowchart LR
    B["Terminal-Bench<br/>課題と成功条件"] -->|課題を提供| H["Harbor<br/>実行・検証・記録"]
    H -->|起動・評価| A["Agent + Model<br/>課題を解く側"]

Harbor の構成要素