80.最近のLLMの動向、マルチモーダルモデルの仕組みとLLMの評価方法を解‪説‬ 白金鉱業.FM

感想などは白金鉱業.FMのハッシュタグ #白金鉱業fm につぶやいてもらえるととても喜びます！

匿名でのお便りもgoogle formにてお待ちしております！

—

目次

00:31〜：最近のLLMの動向
07:36〜：マルチモーダルモデル
17:20〜：LLMの評価方法


show notes

最近のLLMの動向（最後に辻さん、金さんが参加した収録は23年8月。そのあと世の中には何があったか？）

2023.08 OpenAI社 「GPT-3.5のファインチューニングサービス」を提供開始
2023.09 OpenAI社 「GPT-4V」の導入を発表
2023.09 Open Interpreter(ローカル環境で動作するCode Interpreter)が話題に
2023.10 ChatDevを含むAgentを用いた産業への応用の試み
2023.11 OpenAI社 DevDayの開催。ChatGPTの一年振り返りと色んな情報が公開された（GPTs, GPTstoreの情報もここで公開）
2023.12 Google社 「Gemini」を発表
2023.12 Google社 「VideoPoet(A large language model for zero-shot video generation)」発表
2024.01 Google社 「LUMIERE(A Space-Time Diffusion Model for Video Generation)」発表


金さんの解説論文：Generating Images with Multimodal Language Models

関連モデル

ImageBindモデル by Meta
CLIP: Connecting text and imagesモデル by OpenAI




辻さんの解説論文：Leveraging Large Language Models for NLG Evaluation: A Survey

Lost in the Middle解説回：73.言語モデルは中間部分を見ていない？「Lost in the Middle」とテキストデータのaugmentation？「GReaT」の話
Chain Forge:プロンプトの仮説検証プロセスを高速化するプラットフォーム
関連論文：TrustLLM: Trustworthiness in Large Language Models