QUE SERA SERA - AIエンジニアリングの実践

r.kagaya
  • 0.0（0）
  • テクノロジー
  • アップデート：毎週

AIを使ったソフトウェアを、どう設計し、つくり、プロダクトとして届けるか。 『QUE SERA SERA — AIエンジニアリングの実践』では、AIを組み込んだ開発の進め方から、評価と品質、プロダクトとしての届け方までを話します。 AIは、モデルを選んで組み込めば終わりではありません。思ったように動かない。評価の点数が、本番の価値につながらない。使われても、続かない。 そんな現実の制約のなかで、使えるもの、続けられるもの、価値のあるものをどうつくるか。番組ホストのkagaya(@ry0_kaga)が、現場での経験と試行錯誤をもとに話します。

エピソード

  1. 21時間前

    EP0: その評価は測りたいものを測れているか?

    点数が高ければ、本当に能力が高いと言えるのでしょうか。 視力2.0なのに黒板が読めない子のたとえから、LLMベンチマークとAgent Skillの評価を考えます。 445件のベンチマーク論文を調べた研究を紹介しながら、課題の選び方、採点、データ汚染、評価者の偏りを整理します。 評価で大事なのは、点数をつけることではなく、その点数が何の根拠になるのかを説明できることです。 Measuring what Matters: Construct Validity in Large Language Model Benchmarks ホスト：kagaya(⁠⁠@ry0_kaga⁠⁠)

  • 1話のエピソード

番組について

AIを使ったソフトウェアを、どう設計し、つくり、プロダクトとして届けるか。 『QUE SERA SERA — AIエンジニアリングの実践』では、AIを組み込んだ開発の進め方から、評価と品質、プロダクトとしての届け方までを話します。 AIは、モデルを選んで組み込めば終わりではありません。思ったように動かない。評価の点数が、本番の価値につながらない。使われても、続かない。 そんな現実の制約のなかで、使えるもの、続けられるもの、価値のあるものをどうつくるか。番組ホストのkagaya(@ry0_kaga)が、現場での経験と試行錯誤をもとに話します。

情報