80.最近のLLMの動向、マルチモーダルモデルの仕組みとLLMの評価方法を解説

感想などは白金鉱業.FMのハッシュタグ #白金鉱業fm につぶやいてもらえるととても喜びます！
匿名でのお便りもgoogle formにてお待ちしております！
—

目次

• 00:31〜：最近のLLMの動向
• 07:36〜：マルチモーダルモデル
• 17:20〜：LLMの評価方法

show notes

• 最近のLLMの動向（最後に辻さん、金さんが参加した収録は23年8月。そのあと世の中には何があったか？）
  • 2023.08 OpenAI社 「GPT-3.5のファインチューニングサービス」を提供開始
  • 2023.09 OpenAI社 「GPT-4V」の導入を発表
  • 2023.09 Open Interpreter(ローカル環境で動作するCode Interpreter)が話題に
  • 2023.10 ChatDevを含むAgentを用いた産業への応用の試み
  • 2023.11 OpenAI社 DevDayの開催。ChatGPTの一年振り返りと色んな情報が公開された（GPTs, GPTstoreの情報もここで公開）
  • 2023.12 Google社 「Gemini」を発表
  • 2023.12 Google社 「VideoPoet(A large language model for zero-shot video generation)」発表
  • 2024.01 Google社 「LUMIERE(A Space-Time Diffusion Model for Video Generation)」発表
• 金さんの解説論文：Generating Images with Multimodal Language Models
  • 関連モデル
    • ImageBindモデル by Meta
    • CLIP: Connecting text and imagesモデル by OpenAI
• 辻さんの解説論文：Leveraging Large Language Models for NLG Evaluation: A Survey
  • Lost in the Middle解説回：73.言語モデルは中間部分を見ていない？「Lost in the Middle」とテキストデータのaugmentation？「GReaT」の話
  • Chain Forge:プロンプトの仮説検証プロセスを高速化するプラットフォーム
  • 関連論文：TrustLLM: Trustworthiness in Large Language Models