72.「学習と推論の時間を劇的に減らせる？QLoRA」と「ユーザープライバシー保護に使いたいMachine Unlearning」の話

感想などは白金鉱業.FMのハッシュタグ #白金鉱業fm につぶやいてもらえるととても喜びます！
匿名でのお便りもgoogle formにてお待ちしております！
—

目次

• 00:00～：イントロ+LLMプロジェクトの振り返り
• 03:00～：QLoRAの話
• 12:30～：Machine Unlearningの話

show notes

• LLM研究プロジェクト　ブログ記事一覧 - Platinum Data Blog by BrainPad
• QLoRA：4ビット量子化したLLaMAモデルをベースに、Low-rank adapterを用いて微調整を行う手法
  • 論文：QLoRA: Efficient Finetuning of Quantized LLMs
  • PEFTのブログ：LLMを効率的に再学習する手法(PEFT)を解説 - Platinum Data Blog by BrainPad
• Machine Unlearning：学習済みモデルから学習データのサブセットの影響を除去する
  • 提唱の背景：学習済みモデルの使用に伴う不公平なバイアス・ユーザープライバシーの保護などのリスクに上手く対応したい
  • 論文：A Survey of Machine Unlearning