#73 Nyohoさんをゲストに Scratchからディープラーニングや数学の話

Guest:

Nyohoです。普通にNyoho(にょほう)などと呼んでください。Pythonを含めてプログラミング言語大好き、数学大好き、サイエンス大好きな日曜プログラマです。Twitterは @NeXTSTEP2OSX でやってます。著作『目からうろこの機械学習』を鋭意執筆中です!広島のテレビ局 広島テレビのテレビ派のコーナー『もてなしジーセブン』(のYouTube版)のプレイリスト【テレビ派・G7広島サミット企画】もてなしジーセブン にナレーターで出演

Contents:

• 00:00:00 Podcast73回スタート
• 00:00:13 ゲストNyohoさん紹介
• 00:02:28 広島とG7サミットの話
• 00:11:37 Nyohoさんが東京に来た主目的が5月20日土曜日にあったScratch Day 2023 in Tokyoに参加 200人くらい集まったみたい https://day.scratch-ja.org/SD2023Tokyo/
• 00:17:25 Scratchディスカッションフォーラムは子供も使えるオープンな仕組み https://scratch.mit.edu/discuss/
• 00:19:51 機械学習の深層学習の原理をScratchで書く本を書いているが、その関連でニューラルネットワークのデモをイベントでしてきた https://www.youtube.com/watch?v=Ovd7NXW_VJI&t=4466
• 00:21:33 何もライブラリ使わないでニューラルネットワークを作るのは数学的に考えていく？
• 00:24:24 線形代数との関係は？どこまで線形代数が大事？
• 00:27:31 ディープラーニングって数学的にそんなに難しくない。固有値などは後回しでいいはず
• 00:31:05 ストラング先生がMIT新しい「教養の線形代数」で新しい導入法が書かれているとのことなので興味がある https://amzn.to/3OCoZJE
• 00:35:16 88歳になっても新しい導入法を思いつくっていうのは素晴らしいっていうのはいい
• 00:38:10 例えば特一分解って面白いんですけど、ディープラーニングするときにすぐ使うわけではない
• 00:38:48 最近の生成系AI、ジェネレーティブAIはすごいことになっている
• 00:41:01 いろいろな挑戦中にChatGPTが出て実装順番が変わってしまった
• 00:44:44 この間出たサイバーエージェントから出たLLMは試し始めている
• 00:45:40 LLMを動かすのにメモリとGPUのVRAMが大量に必要なのは困りもの
• 00:47:40 画像の圧縮技術もディープラーニングで？
• 00:49:36 Chat GPTを学生が使うか？
• 00:53:25 Chat GPTで新たな学び方
• 00:59:33 PyCon US行ってきた話とカンファレンスや学会への参加と雑談の良さ
• 01:02:31 Slackなどに分報やってますか？
• 01:07:05 PyCon APAC (PyCon JP)やPyCon USへの参加のオススメ
• 01:12:48 PyCon USに行く際の支援をPSFに強くお願いをしている。
• 01:16:35 家庭内のネットワークの変化？？ WiFi機器変更など
• 01:21:52 組み立てPCのトラブル組み合わせテストして、結果が良くなかった。CPUを修理に出している。
• 01:27:39 Mojoってどう？ https://www.modular.com/mojo
• 01:35:20 M1 Macで大規模言語モデルを試したい。量子化ビットを4bitとかしてやる話もあるらしい