73.言語モデルは中間部分を見ていない？「Lost in the Middle」とテキストデータのaugmentation？「GReaT」の話

感想などは白金鉱業.FMのハッシュタグ #白金鉱業fm につぶやいてもらえるととても喜びます！
匿名でのお便りもgoogle formにてお待ちしております！
—

目次

• 00:27～：Lost in the Middle: How Language Models Use Long Contexts
• 12:43～：Language Models are Realistic Tabular Data Generators

show notes

• 辻さんが紹介している論文：Lost in the Middle: How Language Models Use Long Contexts
  • 関連する情報が入力コンテキストの先頭または末尾にある場合に性能が最も高くなることが多く、
  • 長いコンテキストの途中で関連する情報にアクセスしなければならない場合に性能が著しく低下することがわかった
  • さらに、入力コンテキストが長くなるにつれて、明示的に長いコンテキストを持つモデルであっても性能が大幅に低下する
• 金さんが紹介している論文:Language Models are Realistic Tabular Data Generators
  • ICLR 2023 posterにて選定された
  • 実際にKaggleのPraygroundコンペ用のデータに使われている
    • Regression with a Crab Age Dataset
    • Make Synthetic Crab Age Data
  • GReaTのPythonパッケージ