00:00
-00:00
ハーネスエンジニアリング解説シリーズ：評価ハーネス
12
ハーネス設計を「作りっぱなし」にしないための仕組み、評価ハーネスについて話しました。エージェントハーネス(実行)と評価ハーネス(計測)を分けて考える発想から、Tasks・Trials・Graders・Transcripts・Outcomesという5つの構成要素、Code-based/Model-based/Humanという3種のGraderの使い分け、Capability EvalとRegression Evalの違い、そしてpass@kとpass^kという非決定性への対処法まで。ハーネスを改善し続けるための「計測の視点」を持ち帰ってもらえたら嬉しいです。
#VANGSOW #ハーネス設計 #AIコンサルタント #コンテキストエンジニアリング #評価ハーネス #GeneratorEvaluator #AIエージェント #プロンプトエンジニアリング #ClaudeCode #passatk
8月25日
stand.fmの無料アプリでもっと便利に
放送が更新されたらプッシュでお知らせされるので最新の放送を聞き逃さない。
バックグラウンド再生で他のアプリを使用しながら、放送やライブが聴ける。
放送やライブ、コミュニティでコメントが送れて配信者とコミュニケーションができる。
アプリだけでかんたんに音声を収録して投稿できて音声の編集もできる。
stand.fmメディア
JASRAC許諾番号
9024598002Y31016
9024598004Y31016
NexTone許諾番号
000006134
© 2026 stand.fm, Inc.