84.2024年の人工知能学会とICLR (LLM、拡散モデル、世界モデル)

感想などは白金鉱業.FMのハッシュタグ #白金鉱業fm につぶやいてもらえるととても喜びます！
匿名でのお便りもgoogle formにてお待ちしております！
—

show notes

• 人工知能学会(JSAI)(ジェーサイ):第38回となる今年は浜松で開催、5/28～5/31の4日間
• tomaさんの発表:大規模言語モデルの論理構造の把握能力と予測モデルの生成
• ICLR:ヨシュアペンジオとヤンルカンさんによって提案により2013年に設立したディープラーニングのカンファレンス。今年はオーストリア(ウィーン)開催、5/7〜5/11の5日間、79カ国から6,533人が参加
• Protein Discovery with Discrete Walk-Jump Sampling:タンパク質合成に拡散モデルが使われている
• Multi-Source Diffusion Models for Simultaneous Music Generation and Separation:拡散モデルによる楽曲生成と音源分離、音声のノイズを取り除くような手法
• Never Train from Scratch: Fair Comparison of Long-Sequence Models Requires Data-Driven Priors:状態空間モデルなどが長いシーケンスにおいてTransformerを劇的に上回る結果が報告されているが、大幅に過大評価されており適切にTransformerモデルを学習するとS4(状態空間モデルの一つ)に匹敵することを示した
• Mastering Memory Tasks with World Models:強化学習が使われることが多い世界モデルの設計に状態空間モデルを利用している