第128回「精度99%!!でも、当てにならない。なぜAIの評価は難しいのか？ 〜機械学習とLLMの違いから見えてくるAI評価の新基準〜」

【メッセージ募集】

番組への質問、トークテーマのご提案、DATAFLUCTに相談したい！など、各種ご連絡は以下のフォームからお送り下さい。

https://forms.gle/3PLJMK4Akr2LT1Pa7

【今回の内容】

さて今日のデデデータですが、リスナーさんからの質問にお答えをして行きたいと思います！

＜リスナーからの質問＞

久米村さん、DJ Nobbyさん、こんにちは。

いつも楽しく、そして学び多く拝聴しております。現在、私はAIエージェントの開発に携わっており、LLMの出力品質の評価について悩んでいます。

従来のアプリケーション開発では、単体テストや結合テストなどで真偽を判定するケースがほとんどでした。ですが、LLMを活用したサービスの出力においては、その出力に揺らぎがあるため、「完全一致」を基準としたテストが難しく、そもそも何を持って品質を担保できてると言えるか、悩ましく思っております。具体的に挙げると以下のようなところで頭を抱えております。

・LLMの出力品質に対する評価戦略は、開発初期からどう設計すべきか。

・評価基準の策定（完全一致 or 部分一致 or スコア化）

・開発のどの段階で、どの程度の評価（カバレッジや網羅性）を行うべきか。

・ 手動評価から自動化への移行タイミングや方法論。

・オフライン評価／オンライン評価といった概念は体系化されているのか、ベストプラクティスがあるのか。AIエージェントの一般活用が今後進んでいくことに比例し、品質をどう測り、どう担保するかは重要なテーマで従来のソフトウェアテストと同様、専門分化していくだろうとも思ったりしています。

上記について、お考えをお聞きできれば嬉しいです。これからも番組を楽しみにしております。どうぞよろしくお願いいたします。

久米村さん、専門的な内容です！そもそも質問の内容から解説してください！！

【今日の質問】

・AIの精度はどれほど高いのか

・いいAIと悪いAIはどのように見分けるべきなのか

・専門的な知識なくAIの質を評価する方法はあるのか

・AIの質を体系的に評価する手法はあるのか

【出演者】

■久米村隼人

ベネッセ、マクロミル、リクルート、日本経済新聞など複数の企業にて、データを活用する15の新規事業を創出。2018年に大企業のデータ活用支援・新規事業立ち上げ支援を行うFACTORIUMを設立し、70以上のDXプロジェクトを支援。2019年にデータサイエンススタジオDATAFLUCTを設立し、4年間で30以上のAIサービスをローンチ。これまで責任者としてローンチした新規事業は35を超える。

大阪府立大学大学院工学研究科修了、早稲田大学大学院商学研究科修了

■DJ Nobby

キャリア26年目のラジオパーソナリティ。経済ニュースパーソナリティとしてフォロワー10万人を超えるVoicyチャンネルを個人で運営する傍ら、ラジオ番組「週刊Nobbyタイムズ」「DJ Nobby's Tokyo LIVE!!」のパーソナリティ、ポッドキャスト「ながら日経」の土曜パーソナリティなどを務める。

大学卒業後はラジオパーソナリティと並行してシティバンク・エヌ・エイ、東京金融取引所、プルデンシャル生命、メットライフ生命に勤務。銀行・証券・保険の3分野に精通し、特にコンプライアンス分野のデータ分析に強みを持つ。

DATAFLUCTウェブサイト

https://datafluct.com