ローカルLLM用のPC、何を買う？RTX 3090か中古M1 MaxかDGX Sparkか(ep.109)

※収録日：2026/09/21

【公式切り抜きチャンネル、はじまりました】

おちつきAIラジオの公式切り抜き「おちつきAI【切り抜き】」を開設しました。1本15分前後で、本編のパートだけを切り出してお届けします。

▼Spotify

https://open.spotify.com/show/1ZDi70pwl9jQaLGD9mIDPq

▼Apple Podcasts

https://podcasts.apple.com/jp/podcast/id6814639855

こちらもフォローと「★5」のレビューで応援してください。

【1周年祭のお知らせ】

初の単独イベント「おちつきAIラジオ 1周年祭 2026」を、2026年10月3日（土）に東京で開催します。

▼「1年後のAI予測」投稿フォーム

イベントに来られない方も、どなたでもご参加いただけます。事前に集めた予測を当日読み上げ、2周年イベントで答え合わせをします！

https://forms.gle/xzgHP9AFfMgEUXGfA

▼1周年記念Tシャツは、まだ買えます

https://ochitsuki-ai.com/e/1st/tee-pod

【トーク内容】

「ローカルLLM（自分のPCで動かすAI）を始めたいけど、何を買えばいいのか」。AI素人のかねりんが、現役AIエンジニアのしぶちょーに聞きます。目標は、いまローカルで定番のQwen3.8-27Bを手元で動かすこと。

CPU・GPU・RAM・VRAMの違いから、モデルを軽くする「量子化」、VRAMに入りきらない分を本体側に回す「CPUオフロード」まで。そのうえで、かねりんの自作PC（RTX 3090・VRAM 24GB＋RAM 128GB）、中古で人気のM1 Max、約100万円のDGX Sparkを比べます。結論は「大事なのはVRAM」と「買う前に、小さいモデルとQwenのAPIで試してみる」。

後半は、電気代とマイニングの思い出、MacからWindowsへの乗り換えと水冷PC、睡眠の話、しぶちょーの近況まで。

【目次】

00:00:00 オープニング／今日はローカルLLMを動かすPCの話

00:06:01 本命モデルはQwen3.8-27B／脱線：R32 GT-Rの車検代

00:13:35 PCはレンタルしたい？なぜローカルで動かすのか

00:24:45 PCの基礎：CPU・GPU・RAM・VRAM。足りない分はCPUオフロード

00:38:27 かねりんのPCはRTX 3090＋RAM 128GB。量子化で軽くする

00:43:51 Appleの統合メモリ：中古のM1 Maxが熱い

00:49:01 本命はDGX Spark、約100万円。AI発信者の背景には必須？

00:55:57 ローカルの電気代とマイニング／まずはLM Studioで

01:00:58 MacからWindowsへ：メモリ不足と自作PC・水冷

01:09:00 ゲームする時間がない／睡眠と健康、ショートスリーパーは本当か

01:22:48 話を戻して：まとめはVRAMが大事

01:28:00 結論：小さいモデルとQwenのAPIで試す／Qwen Code

01:33:08 しぶちょーの近況：YouTubeと登壇

01:39:21 エンディング

01:40:46 アフタートーク

【今回の放送回に関連するリンク】

【今回の要チェックキーワード】

Qwen（クウェン）：Alibabaが開発するAIモデルのシリーズ。手元のPCで動かせる公開版もある。今回の主役はQwen3.8-27B。

ローカルLLM：外部のサーバーではなく、自分のPCでLLMを動かす方法。オフラインで使え、データを外へ送らずに済む。

CPU：PC全体の処理を受け持つ汎用の計算装置。LLMも動かせるが、速さを求めるならGPUを使う。

GPU：似た計算を大量にまとめて速く処理する装置。LLMの計算と相性がよく、生成の速さを左右する。

RAM：CPUが作業中のデータを置くメモリ。OSやアプリ、モデル、計算途中のデータが置かれる。

VRAM：GPU専用の高速なメモリ。何GBあるかで、動かせるモデルの大きさがほぼ決まる。

メモリ帯域幅：メモリから1秒間に運べるデータの量。容量が作業台の広さなら、帯域幅は運ぶ速さ。

SSD：モデルやアプリを保存しておく場所。容量が大きくても、RAMやVRAMの代わりにはならない。

27B：Bは10億（Billion）。約270億個のパラメータを持つという意味で、27GBという容量ではない。

パラメータ／重み：AIが学習で調整した大量の数値。モデルの中身そのもので、この数が27Bのような表記になる。

量子化：数値を少ないビット数で表してモデルを軽くする技術。27Bを16ビットから4ビットにすると重みは約54GBから約13.5GBに。

KVキャッシュ：すでに計算した文脈の情報を取っておく場所。会話や資料が長いほどメモリを使う。

CPUオフロード：VRAMに入りきらない分を本体のRAMに置き、CPUも使って動かす方法。動くが、GPUだけより遅い。

ユニファイドメモリ：CPUとGPUが同じメモリを共有する仕組み。Apple Siliconなどが採用し、大容量をGPUからも使える。

DGX Spark：NVIDIAの小型AI開発機。Arm CPUとBlackwell世代GPU、128GBの共有メモリを1台にまとめている。

tok/s（トークン毎秒）：AIが1秒に何トークン生成できるかを示す速度の指標。大きいほど文字が速く出る。

LM Studio：ローカルLLMを画面の操作で探し、ダウンロードして、そのまま会話できるアプリ。入門の入口に向く。

—----------------------------

【番組の概要】

日々のAIトピックを、現役のAIエンジニアがやさしく解説する対談番組。AIニュースに驚き疲れたあなたに、おちつきを提供します。AIニュースの、驚くポイント、驚かなくても良いポイントがわかります。

★ご感想やコメントは、番組公式ハッシュタグをつけてX（旧Twitter）でポストしていただけるとありがたいです。

【番組公式Webサイト】※お便りはこちら

https://ochitsuki-ai.com/

【公式ツール】

・おちつきAI RAG

https://ochitsuki-airag.com/

【番組公式ハッシュタグ】

#おちつきAI

【番組公式X】

https://x.com/ochitsuki_AI

【コミュニティの案内】
実践型の有料コミュニティで、みんなでAIを触っておちつこう！
https://rooom.listen.style/p/ochitsuki-ai?tab=membership⁠

【パーソナリティ(MC)】

▼しぶちょー

・AIエンジニア

・技術士(機械部門)

「大手機械メーカーでAI開発の最前線を担う現役エンジニア。AI（ディープラーニング）の実装スキルを証明する「E資格」を保有。機械（ハードウェア）への高度な知見も有し、双方の専門性を掛け合わせ『AIの社会実装』に貢献する。情報発信活動にも精力的に取り組み、ブログ・音声配信(Podcast/Voicy)・SNSなどで幅広く活躍。単なる技術解説でなく、行動変容を伴う情報発信を信条とする。その姿勢が評価され、2025年UJA科学広報賞 審査員特別賞を受賞。著書に『集まれ設計１年生 はじめての締結設計』（日刊工業新聞社）。岐阜県テクノプラザものづくり支援センター広報大使、生成AI EXPO in 東海 共同代表も務める。」

https://x.com/sibucho_labo

https://voicy.jp/channel/3963

▼金田勇太（かねりん）

・KANERIN Podcast Studios 代表

・一般社団法人 地方WEB3連携協会 理事

「刑事司法実務の最前線で多数の犯罪捜査を指揮。2017年から暗号資産業界へ参入。数々のグローバルプロジェクトに参画しコンサルティング、情報分析・アドバイザリー業務を提供。コンサートライブ配信業、音声配信業、テックメディア創業等を経て、ポッドキャストレーベル兼プロダクション「KANERIN Podcast Studios」を創業。多様なパートナーと共に、未来へつなぐ声の原典を共創している。」

https://x.com/kanerinx

https://voicy.jp/channel/2534

【制作】

番組演出（トーク・BGM・効果音）：Aviv Haruta

カバーアートデザイン：UTA

プロデューサー：金田勇太（かねりん）

制作：KANERIN Podcast Studios

著作：株式会社KANERIN

https://kanerin.co.jp

サマリー

ローカルLLMを日常的に動かすPC選びについて、しぶちょーがCPU・GPU・RAM・VRAMの役割から解説する。目標としてQwen3.8-27Bを挙げ、量子化やCPUオフロードを使っても、モデルを高速に動かすにはVRAM容量が特に重要だと説明する。候補として、RTX 3090とRAM 128GBの自作PC、中古の128GB M1 Max、約100万円のDGX Sparkを比較し、性能・価格・速度の違いを話す。ローカル運用にはコストや情報を外部に送らない安心感がある一方、電気代や発熱も無視できず、LM Studioが初心者向けの入口になるという。結論として、いきなり高価な機材を買うのではなく、小型モデルやQwenのAPI、Qwen Codeを試してから導入を判断することを勧める。後半はMacとWindowsの使い分け、水冷PC、ゲームをする時間のなさ、睡眠不足と健康、しぶちょーの動画・講演活動にも話題が広がる。睡眠については、短時間睡眠を無理に信じず、十分に寝ることが大切だという話になる。最後に、番組の今後やAI発信、チャイ作りの難しさについて雑談する。

ローカルLLMに必要なPCとQwen3.8-27B

スピーカー 2

おちつきAI

スピーカー 1

AIエンジニアのしぶちょーです。 AI素人のかねりんです。

この番組は日々のAIニュースで驚き疲れたあなたに、 ゆっくりじっくりAIを学んで落ち着いていただくビデオポッドキャストです。

スピーカー 2

はい、ということで始まりました。 おちつきAIラジオ深掘り会でございます。

一つのテーマについてゆっくりじっくりと深掘りしていきましょうという感じでございますね。

そうですね。

じゃあ早速本題に入っていきましょう。

今日のテーマはこちら。

ローカルLLMを日常活用するために必要なPCってどんなん?でございます。

スピーカー 1

うんうんうん。

スピーカー 2

今まで結構ローカルLLMの話をしてきてはいたんですけど、

具体的なハードウェアというか、そもそもローカルLLMを動かすのにどういうハードいるの?みたいな話をあまりしてこなかったので、

はいはいはい。

スペックってどういう風なものがあって。

スピーカー 1

パソコンの話ですか?

スピーカー 2

パソコンの話。

スピーカー 1

高いよね。

スピーカー 2

そう、高いよねっていう話をしていきたいなと思います。

スピーカー 1

ガジェット紹介会。

スピーカー 2

いや、そんな具体のガジェットを紹介するわけじゃないんだけど、

パソコンの何の性能がローカルLLMを動かす時にいるの?みたいな話。

スピーカー 1

はいはいはい。

スピーカー 2

ちょっと色々調べてきたので、していきたいと思いますが、

私は別にローカルLLMを、LLMが言えないな。LLMをガッツリ動かしてる人間ではないので。

スピーカー 1

あ、そう?

スピーカー 2

別に活用してないからね正直。

あ、そうか。

スピーカー 2

そう。なのでちょっと実体験というよりは調べてきたことの話になるんだけども。

スピーカー 1

LLM-er。

スピーカー 2

LLM-erじゃないのよ。ローカルLLM-erじゃないのよ。

スピーカー 1

そうかそうか。

スピーカー 2

かなり私もクラウドLLM-erでしょ?

スピーカー 1

そうだね。ちょっと使ってるけどね、なんかねちょっとしたやつ。

スピーカー 2

ローカル?

スピーカー 1

なんかわかんない。文字起こしってやつ。ウィスパーとか。

スピーカー 2

あーまあまあまあ。

スピーカー 1

ウィスパーはローカルなんですか?

スピーカー 2

ウィスパーはローカルだね。LLMじゃないけどね。

スピーカー 1

LLMじゃないんだ。

じゃあLLMは使ってないっすね。

スピーカー 2

そうです。ウィスパーはローカルで動くAIで文字起こしAIでございますから。

LLMではございませんけども。

普通にChatGPTとかさ、クロードみたいなやつね。

がローカルで動かせますよっていうのがローカルLLMだと思っていただければいいかなと思うんですけど。

スピーカー 1

マシンがなくて使えてないイメージ。

スピーカー 2

そう。じゃあ実用足りるぐらいのレベルのいわゆるオープンウェイトのローカルLLMを

自分の家で動かしたいと思ったら

何がいるんだみたいな話を今日はしていきますと。

スピーカー 1

具体的にね。

スピーカー 2

そう。

スピーカー 1

100万円ぐらいのパソコンがいるんでしょう?ぐらいしか知らないんだよね。

スピーカー 2

まあね、いるんだけど最安値で言ったらたぶん2、30万でいけるんじゃないかなみたいなところもある。

スピーカー 1

あ、そうなんだ。

スピーカー 2

ただちょっとこれは色々難しいんだけど。

そう。色々難しいのよっていう話も含めて。

ちょっと今日はローカルLLMってそういうスペックいるんだねぐらいの。

私もちょっと勉強中なんでね。

そういう流度で皆さんと理解を深めていく回でございますけどもよろしくお願いします。

スピーカー 1

使ってみたい人はじゃあ参考にして買ってください。

そう。参考にして買ったりとか、

スピーカー 2

あ、しぶちょーさんそんなローカルやりたいんだったら差し上げますよみたいなのも全然受け付けておりますから。

スピーカー 1

裏テーマね。

スピーカー 2

裏テーマ。

か、この前さ。

スピーカー 1

お、来た。

ん?

スピーカー 2

何が?

スピーカー 1

スポンサーか?スポンサーか?

スピーカー 2

違う違う違う違う違う。

そういう話じゃないです全然。

スピーカー 1

視聴者の人にプレゼントかと思ったよ。

スピーカー 2

違う違う違う違う。

この前唐揚げ先生と話、ゲストにさ、自分のポッツゲスト来てもらって話したんだけどさ。

スピーカー 1

お、はい。

スピーカー 2

やっぱなんか。

AIの番組やってて、

ローカルLLM動かしてないとちょっとダメですよみたいな。

スピーカー 1

言われた?

スピーカー 2

そう。言ってたから。

スピーカー 1

おー。

スピーカー 2

だからねやっぱポッドキャストに、AIのポッドキャストには必需品だと。

あーうんそうなの?

スピーカー 2

うん。ということは、

AIの番組やってるからローカル動かしてますよねと。

スピーカー 1

うんうん。

ポッドキャストに必需品ということは、

スピーカー 2

これポッドキャストの設備になるわけですよね。

スピーカー 1

どういうこと?何を言ったらいいの?ちょっと怖いんですけど。

あんまこっち見ないでください。

ここ先はこっち向いてるの?なんか。

スピーカー 2

ポッドキャスト、だからカネリンが収録機器とかマイクとか持ってるのと同じように、

ポッドキャスト収録、だからAIのポッドキャスト収録に必要なのがローカルLLMという話になってくると、

やっぱカネリンさんにちょっと買っていただいた方がいいんじゃないかなっていう話を、

唐揚げ先生としましたね。

スピーカー 1

何それ。

スピーカー 2

音声編集ソフト、高いのありますとか、マイクとかね、スタッフ陣いるじゃないですか。

ローカルLLM用のPCの。

これもやっぱポッドキャストグッズなんで。

スピーカー 1

ちょっと待って、でもそんな活用できるってこと?

スピーカー 2

いやだから、AIの番組をやってるのにローカルLLMを構築していないという、

スピーカー 1

ただその1点。

スピーカー 2

そのストーリーだけ。

スピーカー 1

いいよ、なんかすげえ活用できるとかじゃないんだよ。

スピーカー 2

いや活用はできると思うよ。

スピーカー 1

多分イメージが分からないんだよな。イメージはあったらワンチャンあるよね。

スピーカー 2

一応今回これを入れるためにはどうしたらいいかっていう1個テーマを持って、

テーマというか具体的にこのモデルいいよねっていうのを持ってきたんだけど、

一番界隈でこれだよねって言われてるモデルがあって、ローカルLLMといえば、

それがクエンの3.8の27ビリオン。

スピーカー 1

こないだちょっと話に出たやつだね。

スピーカー 2

そう、クエン。

スピーカー 1

中国のやつだね。

スピーカー 2

そう、中国のやつです。アリババという会社が作っているクエンというモデルがあるんだけど、

オープンエイトですごく有名なんだけど、クエンの3.8の27ビリオンっていうモデルが、

結構やっぱりローカルを運用する人にとっては、いやこれですよねみたいな。

スピーカー 2

これがいいんですわみたいな。ちょうどいいと。

何がちょうどいいかっていうと、

研究所レベルの大規模なサーバーを用意しなくても、

個人PCで検討できるぐらいのギリギリのサイズかつ、

性能としては、多分そのオーパスよりはいかないけどソネットぐらいはあるよねみたいな。

スピーカー 1

ソネットまで来ちゃう。

スピーカー 2

ぐらいはあるんじゃないかみたいな。

うーん。

なのにローカルでガンガン動くみたいな。

スピーカー 1

個人PCレベルギリ?

スピーカー 2

個人PCじゃない。個人で買うことができるPC。

非常に重要ですよ。個人PCと個人で買うことができるPCの間には、

無限の差があるので。

スピーカー 1

そうだよね。ワンチャン今うちのPCでできるの?とか思っちゃったよ。

スピーカー 2

個人で買うことができるPCっていうのは、個人の資産で手が届くという意味合いになってくるから。

スピーカー 1

どれぐらいなんすかそれって。

スピーカー 2

個人で、車とかみんな買えるじゃん。

だからそのぐらいの感覚。

車の代わりにこれを買おうみたいな。

スピーカー 2

買おうみたいなね。っていうぐらいの。

スピーカー 1

支部長、車売ってこれ買わなきゃいけないんじゃないの。

スピーカー 2

いや、そんな本当にさ、支部長さん、ローカルLNM買うためにPC買いましょうよとかって気軽に言ってくるんだけどさ、

金がないんですよ本当に。

あの、マジで。金かかることがいっぱいあってね。

スピーカー 1

うん。

スピーカー 2

車が趣味なんですよ。

スピーカー 1

あー、そうだよね。

なんか車自分で修理したりしてるんでしょ?なんか。

スピーカー 2

そう、かつてはね。最近はちょっと時間がないし、放置気味なんだけど。

車検だったんですよ、今年も。

スピーカー 1

車検自分でやんの?

スピーカー 2

いや、車検はね、ショップにお願いしてる。

俺の車特殊すぎて、ディーラーとか出せないから。

スピーカー 1

え、めっちゃ古いやつ?

スピーカー 2

古い。

スピーカー 1

やばー。

スピーカー 2

R32GT-Rっていうですね。

この間一個見たよね?

スピーカー 2

あ、そう。この間見せたのはホンダのビートなんだよ。

スピーカー 1

うんうんうん。

スピーカー 2

ホンダのビートももう30年前ぐらいの車なんだけど。

スピーカー 1

すごいよな。エアコンもなかったよ。

スピーカー 2

もう一台持ってるR32GT-Rっていう車があるんだけど。

スピーカー 1

そっちがメイン?

スピーカー 2

そっちがメインというか、一番やっぱ好きな方だね。

スピーカー 1

好きなんだ。

スピーカー 2

高いよ。

高いの?

普通に今売ったら、買おうと思ったらさ、多分600万とか700万じゃ買えないと思う。

スピーカー 1

やばすぎ。

スピーカー 2

めっちゃ高いよ。

スピーカー 1

すぐに売って、どでかいコンピューター買ったら。

スピーカー 2

いやいや、そんなにこれ乗るから。乗っていくために今維持してんだけど。

結局、今年も車検出したら、ちょっと不具合が見つかりましてね。

スピーカー 1

そんな古い車なんか、不具合めっちゃ出そう。

スピーカー 2

めっちゃ出るのよ。不具合は出るのに部品が出ないから、高いんだ部品が一個一個。

スピーカー 1

うん。外車?

スピーカー 2

日本車だよ。日産です。

スピーカー 1

日本車なんだ。

スピーカー 2

日本車だけど、もう30年以上前の車で、そう名車なんだけど、やっぱ部品が出ないんですよ、R32とはいえ。

スピーカー 1

ちょっと待って、検索したいんだけど、R32?

スピーカー 2

R32 GT-Rって検索すれば。

スピーカー 1

GT-Rですか。これはもう何、車好きな人はみんな知ってますよね。

スピーカー 2

みんな知ってます。

スピーカー 1

こわ。

スピーカー 2

スカイラインの。

スピーカー 1

こわいな。

スピーカー 2

GT-Rが復活したという。

スピーカー 1

渋いです。

なんか昔この車のおもちゃ持ってた気がする。

スピーカー 2

そうだよ、結構ね、名車だよ、ほんとに。めちゃくちゃ人気。

スピーカー 1

なんかゲームとかにも出てきてそう。

スピーカー 2

出てくる出てくる。グランツールとか出てくる。

スピーカー 1

よかった、なんかよくジンピラが生きてるアメ車みたいなやつじゃなくてよかった。

スピーカー 2

じゃない、もうかっこいいスポーツカーだけど。

これをね、維持するのにすごくお金がかかるわけですよ。

もう今まですごいお金をかけてきたんだけども。

今年も車検で、あ、渋ジョーさんと。

一発死んでますねと。

6気筒なんですよね。

6気筒って言って6個爆破する部分があるんだけど、

1気筒死んでると。

スピーカー 2

エンジン?

エンジン、そう。

1個死んでて5発で走ってますと。

1個復活させるためにスパークプラグと、

あとコイルとかを全部変えなければならないと。

めっちゃお金かかりますよと。

どうしようみたいな。

スピーカー 1

で、どれくらいかかんの?

スピーカー 2

いやーちょっとね、まだわかんないって言われた。

スピーカー 1

100万円くらい?

スピーカー 2

そんなかかんない。

けど車検代は10万くらいかかるじゃん普通に。

それプラス20万くらいかかってくるのよ。

スピーカー 1

こわ。

スピーカー 2

こわこわ。

で、まだね、まだまだこのエンジンのタンク、

ガソリンタンクも樹脂だから、それも割れてきますよと。

それ変えたら100万円コースだったりとか、すごいのよもう。

すごいね。

スピーカー 2

あらゆるとこが壊れると。

スピーカー 1

すげー乗り方してんの?

スピーカー 2

普通に乗ってるだけで壊れてくのよ。

スピーカー 1

うーん、もう古いからってこと?そもそも。

スピーカー 2

そうだね、まあ人間に例えたら80歳のおじいちゃんに全力疾走させてるようなもんだからさ。

スピーカー 1

なんかもうほんとスパルタだよね、支部長って。

スピーカー 2

そう、なんかもうあらゆるところから崩壊してる。

スピーカー 1

AIにも、車には優しそうだね。

AIにはパワハラするけど。

スピーカー 2

丁寧に丁寧に。

スピーカー 1

車よしよししてそう。

スピーカー 2

物理的なね、ものがあるから。

物理的なね、やっぱね。

車をね、ムチ打つとね、自分に返ってくるんだよ、お金として。

スピーカー 1

しっぺ返しが。

スピーカー 2

しっぺ返しが、普通にね、メンテナンスがサボるとね。

っていうので、お金がかかるから。

スピーカー 2

いつもね、今振り返ると、この金額あったらパソコン変えんなとか思うんだけど。

スピーカー 1

普通に変えそうだよ。

ローカル、あ、この車売ったらDGXパーク、後で説明するけど、

スピーカー 2

いいパソコンいっぱい買えるなと思いながらも、やっぱ物理ですよね。

メーカー。

占いですね。

スピーカー 1

パソコンも物理だよ。

スピーカー 2

パソコンも物理だよ。

スピーカー 1

走るパソコンにしたらもう。

スピーカー 2

タイヤが付いてないとやっぱね、機械とは言えないから。

移動しないとやっぱ。

スピーカー 1

そっか。

車にAIくっつけるみたいなことやってみたらいいじゃん。

車にAIね、結構相性悪いんだよな。

スピーカー 1

悪いんだ。

スピーカー 2

ネット。

スピーカー 1

熱い?

スピーカー 2

そう、熱も持つし。

そういう人もいるけどね。

なんかこう、GPS付けてトラッキングするみたいな。

スピーカー 1

車とAIは真逆みたいな感じなのかな。

スピーカー 2

真逆でもないけど、昔の車だとね、なかなか難しいね。

いろいろセンサーとか付けれるんだけどね、やると思えば。

はい、ということでちょっと話を戻しますけど。

そうなんでちょっとパソコン買えないんですけど。

スピーカー 1

なるほど、車があるからね。

でもカネリンがね、ポッドキャストスタジオ用の機材として、

スピーカー 2

ローカルLLM最高だぜっていう風に。

スピーカー 1

AI会話なんてさ、買って半年でなんか古いですねみたいになっちゃうじゃん。

レンタルしたいよね。ないんすかね、レンタル。

スピーカー 2

あー、レンタルね。

買いたくないよね、もう。

スピーカー 2

だからさ、そうそう、無期限レンタルみたいなね。

あるよ、ある。

スピーカー 1

あるんだ。

スピーカー 2

スポンサーとしてもらってみたいな、無期限に貸しますみたいな。

スピーカー 1

そういうのね。

渋調なんてそんなのいっぱいありそうなのね。

3Dプリンターかのごとくなんか。

スピーカー 2

3Dプリンターはみんなくれるんだけどね。

パソコンくれないんだ。

スピーカー 2

AI系の発信足りてないのかな。

支部長としてAI系の発信してないからさ、SNSでは。

あ、そうか。もうちょっとAIに重心置いたら?

スピーカー 2

そうなんだよね。

スピーカー 1

落ち着きAIももっとバーンっていかないと。

スピーカー 2

そうなんだよね。だからこういうソフト作りました。

意外とやっぱメカの話ばっかだから。

スピーカー 1

Xとかもそうだよね、結構。

物作りの人文脈強いよね。

AIの話しても誰も食いつかんのよ。

スピーカー 2

びっくりするぐらいね、エンゲージメント低いから。

スピーカー 1

やっぱりフォロワーの。

スピーカー 2

フォロワーの種類がさ、AIじゃないんだよねみんなね。

スピーカー 1

そっかそっか。

スピーカー 2

まあでもいいけどね、別にそこを狙ってるわけじゃないから。

なんで、でもちょっとそういうとこで。

AIエンジニアもちょっとせめて。

アピールして。

スピーカー 1

マシンをもらおうの回ですかね。

スピーカー 2

でもマシンをもらおうとしてる人には多分くれないんだろうな。

スピーカー 1

そうか。

自分でガチガチやってる人じゃない。

スピーカー 2

今ある環境でこんだけやりましたみたいな。

こいつにPC渡せばすげえことできるんじゃねえかみたいな。

なんかその、ああいいパソコンあったらこういうことができるのにみたいなこと言ってる人に。

なんか渡したくないよね。

スピーカー 1

そうだね。

スピーカー 2

今あるもので渡して、あ、こいつに限界突破してもらえばすごいことができるんじゃないかっていう風な期待感を。

スピーカー 1

それはそうだ。

スピーカー 2

持たせないといけないんじゃないかなと。

俺はもうちょっと今パソコンでできる馬鹿なモデルでどこまでできるかってことをやらなきゃいけないんじゃないかなと。

思うんだけども。

スピーカー 1

結構いっぱいあるもんね。

スピーカー 2

そういうものは思うんだけど、ただ現実問題、いわゆるフロンティアモデルに近い性能を出すようなモデル。

フロンティアモデルはフェーブルとか?

スピーカー 2

フェーブルとかアンソロピックのモデルとかね。

クロードとか、JetGPT全般を表す言葉なんだけど。

うん、なるほど。

スピーカー 2

ああいう本当に小っちゃいモデルじゃなくて、ある程度動くよねっていうモデルの中で一番使いやすいと言われているのがクエンド3.8の27ビリオン。

スピーカー 1

なるほど。

スピーカー 2

みんなここいいよねっていう風に言ってるので、

じゃあこれを動かせるためのパソコンどのぐらいのものを用意しなければならないのかという話を、

ローカルLMに必要なスペックとともに学んでいこうという、そういう話でございます。

スピーカー 1

はい、ちょっとワンチャン何とかしたいな。

スピーカー 2

そうね。

まずクエンとはなんぞやという話。さっきも言ったけど、アリバマっていう会社が開発しているAIモデルと。

で、クエン自体は2023年から運用が始まっているんですけども。

クエン2、クエン2.5と進化してきて、最近今年だよね。クエンの3.8、27ビリオンっていうのが8月ぐらいかなに公開されましたと。

結構コミュニティ盛り上がっててクエン。この前クエンのイベント行ったのよ実は。

スピーカー 1

あら、ちゃんとしっかり潜入してんじゃん。

スピーカー 2

そう、クエンのジャパンミートアップみたいなやつに統計されてたから、すげー頑張って行ってきて。

その次の日、メーカーフェアっていう展示会あったんだけど、その前の日にちょっと乗り込んで行きました。

スピーカー 1

あのイベントの前に行ってたんだ。

スピーカー 2

面白かったよ。

スピーカー 1

日本語通じんの?

スピーカー 2

もちろん、基本的には日本人ばっか。

スピーカー 1

誰でも参加できるんすかそれ。

スピーカー 2

うん、できるよ。

スピーカー 1

行けば参加できるんだ。

スピーカー 2

参加できるけど、ちょっとねさすがに本当はその後クエン、アリバマの人とかもいたから交流したかったんだけど、

次の日の展示会の準備があったから、交流会はさっさとちょっと抜けてきちゃったんだけど、

でもその中でやっぱクエンのこの3.8の27ビリオンなんですわ、やっぱ一番いいのはみたいな。

ローカルで動かす理由とコスト

スピーカー 2

これをどう使いこなそうみたいなね、話すごく盛り上がってました。

みんななんでローカルLNMを構築したいかというと、コストダウンです。

スピーカー 1

やっぱそこなのね。

ローカルで回せれば電気代だけでいけるってことだよね。

そう。

スピーカー 2

今までやってたタスクをなんとか分解して、クエンに触れる部分はクエンに触らせるみたいな。

スピーカー 1

はいはいはい。

スピーカー 2

っていう使い方ができればすごくいいよねと。

スピーカー 1

こないだのジェブみたいなもんで、分解できないとそもそもダメだね。

スピーカー 2

そうそうそうそう。

どこをローカルにすんのかって。

スピーカー 2

これはちょっとね、安いモデルもいいよねみたいな。

コンビニF1かでコンビニ行ってませんよねみたいな。

でもさ、じゃああれだね。

スピーカー 1

いくらコストダウンできるのか計算してすれば100万円も安いかもって話だよね。

スピーカー 2

そうだね。ただ。

スピーカー 1

100万円安いって言うようなことないよな。

スピーカー 2

ただ。

スピーカー 1

月3万円で結構使えるんだ。

結局それ何と比較するかっていうと、今だとカネリンの場合はクロードの課金とオープンAIの課金でトークンで計算することになるじゃん。

スピーカー 1

トークンでそうだね。

スピーカー 2

そうそう。

例えばローカルLMでトークンを節約できたとしても、シュッピって減らないんだよね。アウトプットは増えるんだけどAIによる。

だから今まで使ってた分、クエンに投げて、ローカルで処理できる分、また新たにクロードコードとコーデックスが使える、枠が増えるわけじゃん。

はいはい。また何かやるんだろうな。

金額的なメリットが、普通そのAPI課金で使ってる人たちからすらあるんだけど、カネリンの構成だと多分出てこない。

スピーカー 1

その月額サブスクだからね。

スピーカー 2

そうそう。値段って感じでは出てこないんだけど。

スピーカー 1

めっちゃ減ったら片方切るとかあるかもしれないけど。

そうだね。そういうことはできると思う。

スピーカー 2

なんでそもそもローカルLLMを頑張ってやろうっていう人たちは、まずローカルで動くから安いよねと。安いとか値段が気にならないのと、ローカルで処理できるからセキュリティ面も安心。送ってないからね。

スピーカー 1

だからそういうサービスやっててAPI繋いでる人とかが、APIじゃなくてローカルのこっちで回そうみたいな、そういう使い方するってこと?

スピーカー 2

いや基本的には自分の処理だと思うよ。

自分用?

うん。なんかウェブサービスを提供していて、自分のローカルだけで全部処理してやるのは無理だと思うから。

スピーカー 1

うんうん。

なんか数人しか使わないよっていうサービスだったらいいんだけど。

スピーカー 1

なるほど。

スピーカー 2

アクセスがバーって入ってきたら、多分全然処理しきれないと思うから。

基本的には自分のタスクをやらせるっていうところで、いろいろ使えるといいんじゃないかなって感じかな。

スピーカー 1

それじゃあ割とみんなもAPIじゃなくて、サブスクの範囲のやつの話じゃないの?みんな。

スピーカー 2

ん?みんなって、カネリンと一緒ってこと?

スピーカー 1

うん。MAX200ドルプランの中でやってるから、金額的には別に減らない人が多い?

スピーカー 2

企業納入の場合はちょっと変わってくるね。

スピーカー 1

おお。

スピーカー 2

企業でクロードコードとか使ってる時に多分API課金でやってる人も多いから、会社が。

スピーカー 1

うん。なるほどね。

スピーカー 2

そこでローカルをちょっと使いましょうみたいな話も、クエンのミートアップではあったね。

個人でやってる人たちは、節約というよりはどっちかって言ったら、わざわざローカルを構築してるってことは実験的な意味で構築してる人の方が多いから、テックな部分の話だと思うけど。

でもやっぱそのこの前フェイブルが輸出停止になったみたいなこともあるじゃん。

ああいう感じで障害があったりとか、政治的なところでAIが使えなくなる可能性もあるから。

やっぱこうローカルで運用する術を身につけとくっていうのは大事だよねという話はある。

なるほどね。

スピーカー 2

っていうところでローカルいろいろなメリットがあるし、今後やっぱりよりタスク特化していったりとか、大きいモデルじゃなくて、

もしもフロンティアモデルの性能アップを一回ちょっと減速しましょうみたいな話あったじゃん。

スピーカー 2

あの後なんかまたアンソロピックが新しいモデル今開発中ですみたいな感じで、どんだけニマイジだなんだみたいな話もあったんだけど。

スピーカー 1

そんな話だったっけ?

スピーカー 2

その話は言ってないけど。

またやってるんだ。

そうそう、そういう噂があって。

スピーカー 2

でもお前減速しようって言ってたのに、え?みたいな、そういう雰囲気になってて。

なるほど。

はあるんだけど、まあまあそれでもやっぱこうね、ローカルが今後活用していくことがどんどん多くなるかなって思うから、

今のうちローカルやっといた方がいいよぞという感じでございますね。

スピーカー 1

このさ、クエンの一番大きいのが何だっけ、20何とかビリオン?

スピーカー 2

いや、もっと大きいのあるのよ。

あー。

えーとね、95ビリオンがある。

スピーカー 1

95ビリオン?

スピーカー 2

クエン3.8。

スピーカー 1

今言ってたのが?

スピーカー 2

2.4Tっていうね。

スピーカー 1

2.4T。これサイズ違いでいろいろあるよね。

スピーカー 2

ある。

スピーカー 1

8ビリオンとか。

8ビリオンもあるよ。

ゴミ?これ。

スピーカー 2

ゴミではないけど、やっぱ一番、なんかそう、8ビリオンだったら多分今のパソコンにも入るのよ。

スピーカー 1

うんうん、なんか今入りそうだなと思って。

スピーカー 2

やっぱねその、実用に対売りそうだなっていうレベルが27ビリオン。

スピーカー 1

うんうん。

スピーカー 2

8ビリオンぐらいだとなんかファインチューニングして遊んでやろうみたいな感じになるんだけど。

スピーカー 1

うんうん。

スピーカー 2

27ビリオン、270億パラメータだね、27ビリオンってことは。

そのぐらいじゃないと。

スピーカー 1

27ビリオン。

スピーカー 2

そう、27ビリオン。だから今日はクエンの3.8、27ビリオンが動けば、なんかちょっとできるねみたいな感じになるっぽい。

スピーカー 1

うんうん。

性能的にね。

スピーカー 2

性能的に。

スピーカー 1

分かりました。

CPU・GPU・RAM・VRAMの基礎

はい、じゃあこの27ビリオン、まずじゃあこいつが動くようなもの。

スピーカー 2

どういうPCになるんだという話ですけど。

はい、ありがとうございます。

えーとその前に。

スピーカー 1

その前に。

その前にですね。

スピーカー 2

えーと、まあパソコンのスペックを学びましょうみたいな話ね。

ちょっと用語がいっぱい出てくるんで、前もって解説しておくと。

まずCPUですね。

CPUは分かるよね。

スピーカー 1

うん、脳みそね。

スピーカー 2

脳みそです、はい。

GPUね。

出た。

スピーカー 2

これも分かるね。

スピーカー 1

なんかあれだね、画像を描写するやつ。

スピーカー 2

そう、画像を描写するやつですね。並列計算というのが得意だ。

そういう処理のユニットでございます。

スピーカー 1

よくゲーミングPCにやってるやつ。

スピーカー 2

そう、ゲーミングPCならもうGPUが欠かせないと。

GPUといえばNVIDIAと。

っていうのがありますと。

まあCPU、GPUはね、なんとなく分かると思います。

あとはRAMですね。

スピーカー 1

RAM。

スピーカー 2

メモリーです。

スピーカー 1

メモリー。

スピーカー 2

はい。

もう一個VRAM。

これだよな、ポイント。

スピーカー 2

ビデオラム。

これが結構ポイントね。

スピーカー 1

これはGPU的なとこにひっついてるRAM?

スピーカー 2

そう。

スピーカー 1

メモリー?

GPUのメモリーみたいなもんだね、VRAM。

スピーカー 1

はいはいはい。

ここのサイズが大きいと、なんかでかいモデル詰めるというイメージです。

スピーカー 2

ああ、その通りです。

スピーカー 1

ちょっとあんまりよく分かってないんだけど。

スピーカー 2

いや、本当にまさにその通りで。

VRAMの大きさがかなり重要になってくると。

スピーカー 1

もうなんかグラフィックボードにメモリーさせたいもんな。

なんか使えないの?このメモリーみたいな。

なんかメモリーはでかいじゃん。でかいのよ。

スピーカー 2

うん。

スピーカー 1

でもなんかグラフィックボードのVRAMは小さくてさ。

スピーカー 2

そうそうそうそう。

スピーカー 1

なにこれって。

スピーカー 2

ここら辺もね、結構いろいろな技術があるのよ。

スピーカー 1

うん。

スピーカー 2

だからね、ここもね、いろいろ考えようはあるんだけど。

スピーカー 1

これが高いんだよね、このVRAMのでっかいグラフィックボードが。

うん。まさにその通りです。

スピーカー 1

1個、こんなどでかい戦艦みたいなの、プラモデルみたいなの、やつでしょ。

スピーカー 2

買わなければならない。

スピーカー 1

オチアイさんがなんか炎出てたじゃん。

ああ、燃えてない。

スピーカー 1

燃えたとか言って。

スピーカー 2

よく燃えるんですよみたいなこいつってよく燃えるっていいの?みたいなこと言ってたんか。

あっ、これそうなんです、このGPUはよく燃えるんですよみたいな。

スピーカー 1

ね、みんなコメントしてたけど、冷静に。

スピーカー 2

よく燃えるって済むの?みたいな。

なんかオチアイ王一さんってね、どっちかっていってたら天才肌でさ、

いつもなんかお家王一すげー常識を逸脱してるぜみたいなイメージだったけど。

なんかオチアイ王一さんが常識的なコメントしてるのがおもしろかった。

スピーカー 2

燃えるっていいの?みたいな。そうだよなみたいな。

スピーカー 1

そうそうガンガン回ってる イメージだね

スピーカー 2

そう

スピーカー 1

ああいうグラフィックボード が

スピーカー 2

カネリンが言ってくれたから このままちょっと話を進めると大事

なのがですねこのgpu用のvramの大きさ になりますとで基本的にはその

ローカルllmで持ってきたモデル の全部をこのvramに入れてそれで

スピーカー 1

推論をさせるっていう感じだよね なるほどね

スピーカー 2

そうだからこのvramの大きさ がそのモデルがまず全部全部乗り

切らないとまず動きませんよみたいな そこになってくるからこのvram

っていうのが非常に重要になって くるなとでなんでvramに乗せたいん

かと言うとさっきも言ったように gpuで処理したよねgpuっていうのは

グラフィック用のそういう処理 のユニットなんだけど並列計算

というものができますと並列計算 っていうのはそのままの意味で

スピーカー 1

並列で計算できますよみたいな 一気にいけると

スピーカー 2

一気にいける別にcpuでも 並列計算できないわけではないん

だけどいっぱいちょっとcpuほど 賢くはないけど計算能力を持っている

スピーカー 1

ちっちゃい子供たちがいっぱいいて なるほどねスイミーだ

スピーカー 2

そう用意どんでバーッと計算 できるみたいなcpuはもうでっかい

魚が一匹バーッとサメみたいな やつがいるみたいなねそういう

イメージだと並列計算はちっちゃい 計算の繰り返しなのでそういう

一個一個の計算そんな難しくない から

だからいっぱい計算機があった ほうがいいみたいな

スピーカー 2

あったほうが全然いいとなので gpuからすぐ読み出せるvramにその

llmのモデル乗っけて計算してその 推論していくというか生成して

いきたいよねっていうのがある からvramが大きいほうがいいと

でもcpuに乗らないわけじゃなくて cpuのそのラムにモデルを乗っけて

cpuで推論させていくってことも 当然できると実は

スピーカー 1

要はラムって普通のメモリー だよね言われる

スピーカー 2

そうメモリーにボーンって 乗っけちゃってcpuで動かすって

こともできるんだけどその後どう なるかっていうとちょっと遅いんだ

ねめっちゃ

スピーカー 1

cpuだから一個一個やってくん

だピピッと

スピーカー 2

そうでtokenpersecっていう単位 があって1文字を何秒で生成できます

かみたいなそれがllmローカルllm の指標の一個になるんだけどこれ

がねなんか多分20とか30ぐらいになって くると1秒で20文字30文字出てくる

とあー結構いいよねみたいななんだ けどcpuで処理しようとするとちょっと

違うモデルの差なんだけど例えば gpuRTXの60かなで処理すると40tokenpersec

だったのに対して同じ処理をcpu にさせると7tokenpersecと5倍ぐらい

の差があるよと5倍という場合によって 変わるんだけどcpuで処理させる

となんか1秒間に7文字ぐらいしか 出てくるからすごい遅いのよ実用

に耐えられないと

スピーカー 1

遅いそうじゃあgpuでやるのが 基本なんね

そうちなみに別にラムにも 載せなくていい実は

スピーカー 1

ああそうなの何だよそれ

スピーカー 2

ストレージ側にモデルがあっても 別に動かせなくはない

ああそうなんだssdとかね

スピーカー 2

そう

スピーカー 1

だからめちゃめちゃいっぱい 載せれるじゃん

スピーカー 2

そうその代わり1文字20秒 とかかかる

やばその読み出しでそこの そうモデル全部いちいちモデル

全部読み出して

スピーカー 1

ちょっと押しすぎる遅すぎる ね

スピーカー 2

遅すぎるだから使えないの 実質

1秒20文字20秒で1文字

スピーカー 2

20秒で1文字とかかかっちゃう らしい

スピーカー 1

全然ダメだねそれ

スピーカー 2

そうssdに全部モデル保存して cpuで推論しようと思うとダウンロード

してきてダウンロードとかそれ 持ってきて推論してみたいなこと

をいちいちやってるとめっちゃ 時間かかるみたいななので実質

じゃあ使えるようにしたいんだ ったらやっぱgpuのvramにモデルを

乗っけてgpuで推論させるっていうこと が必要になってきますとなんです

がこれまたちょっと難しいところ が例えば16ギガですよgpuのvramが

モデルのサイズが16ギガですよ とじゃあ乗りますねという感じ

なんだけどやっぱねそもそも推論 以外にもいろいろと要領を食う

から16ギガのvramに対して例えば 15ギガとかのモデル乗らないのよ

乗りそうなんだけど

乗らないんだギリギリダメ ダメ

スピーカー 1

他のことできなくなっちゃう のそれひょっとして

スピーカー 2

他のことできなくなっちゃう しそもそもローカルLLMを動かす

ときにもキャッシュみたいなやつ がたまるのねkvキャッシュって

いっても今まで推論してきた生成 してきたものを覚えておく前に

読んだトークを覚えておくみたいな 保存領域も必要でそういうもの

が結構重なってくると要領を取 ってくるのねなのでモデルの大きさ

以上にスペースが必要になって くるから結構一個余裕を持った

サイズにしないとなかなか意外 と乗らなかったりとかうまく動

かなかったりすると

スピーカー 1

パンパンダメなんだ

スピーカー 2

パンパンダメなんですよね なんかこの24とか32とかっていう

gpuを積んでいかないと結構パッと 動かないよねっていうことがある

とあとgpu同じでもメモリの帯域 幅だよねどれだけ早く処理できる

かみたいな処理のメモリの帯域 もあるから何hzみたいなそういう

とこもちょっと見ておかないと いけないけどそれはよっぽどそんな

に影響はするんだけどやっぱvram ほど大事ではないかなって感じ

よね

スピーカー 1

vramねvram拡張できないんでしょう もうグラフィックボード買い替える

しか

スピーカー 2

そう拡張ができないから

スピーカー 1

裏技ないのなんか

スピーカー 2

一応ねちょっとあるのよ裏 技というか基本gpuに収まらんと

収まらん分をram側に乗っけましょう みたいな技術があるね

スピーカー 1

ああ聞いたことあるわ

それをcpuオフロードと言うん だけど

スピーカー 1

今日メモ取りながら参加させて いただいて終わった後にちょっと

やりたいんで

スピーカー 2

いや俺もねちょっとやってない から分からんだけどねそういう

技術があるとで基本的にはその llmってレイヤー状になってるの

ね

スピーカー 1

レイヤー

スピーカー 2

レイヤー層になってるという かこの処理まではgpuにお願いして

この層以降の処理をcpu側に任せ ようみたいなそういう分割ができる

のよ層状になってるからなので ちょっと収まらなかった分をcpu側

に置いてcpuのram側に置いて分割 するみたいなそういう分割構成

にはできると

スピーカー 1

ramに置いたやつをgpuは使えない

んだ

スピーカー 2

ramに置いたやつをgpuは持って これはしないかな

スピーカー 1

だからcpuにやらせなきゃいけない

スピーカー 2

と

そう持ってこれないわけではないん

だけどramに計算させた計算結果 をgpu側に渡すっていうフローになる

かなで残りの処理をvramの方でやる みたいな例えば24gのvramが欲しい

よと本当はねなんだけど16gのvram しかないよって場合は残りの部分

をramに補填させるとcpuで処理させる っていうことで動かせる場合がある

みたいなね場合があるとうまく 動かない場合もあるこれ結構賭け

なんだけど

スピーカー 1

それマシンによると

スピーカー 2

マシンによるとマシンとかの 組み方にもよるんだと思う結構

ね難しい多分やってないからね ちょっと細かい部分までは言えないん

だけど結構おさほノウハウがある 世界だと思うよ

スピーカー 1

へえなるほどね

スピーカー 2

でも一応その収まらなかった としてもそっちに逃がすよっていう

方法はあるとなんだけど一番やっぱ 綺麗なのはvramの中に収まるって

いうことだね

量子化とCPUオフロード

スピーカー 1

で今のそのおすすめのクエン の3.827ビリオンこれは何ギガの

vramだったらいいの

スピーカー 2

こいつはねえっとねえ24かできれば 36ぐらいあるとええんちゃう

みたいな

24でいけんだ

スピーカー 2

24でギリギリいけるだろう というふうにはなっていたはず

ちょっと待ってね結論で言おう と思ってたんだけどそれえっと

スピーカー 1

ね

結論飛ばしてしまいました

スピーカー 2

もうみんな早く聞かせてくれ っていうことだとえっとねたぶん

クエンの3.8の27ビリオン自体の そのモデル自体の大きさがこれまで

ちょっとねそう量子化の話も入って くるからちょっとややこしいんだけど

マックスで一番でっかいやつで 16ギガぐらいだなんでちょっとね

スピーカー 1

それちょっとひと回り大きい 目の

スピーカー 2

そうだから専用VRAMとして 16ギガを用意しちゃうとちょっと

はみ出てんのねだから細かい部分 軽量化する量子化っていってちょっと

こうモデルを性能落とすなどで きゅっと小さくするか16ギガ厳しい

からさっき言ったように部分オフロード してあげるか24ギガをVRAMの24ギガ

を用意してあげるかただそれでも ちょっと足りなくなる可能性がある

スピーカー 1

それでも足りなくなる

スピーカー 2

専用のVRAM32ギガぐらいの ほうが安定していけるんちゃう

みたいな

RTX 3090自作PCと中古M1 Max

スピーカー 1

これ僕のPCスペック24ギガ ありますよこれ今

スピーカー 2

24ギガある

ウィンドウ好きVRAM

スピーカー 2

VRAM24あるのすごいね

あるみたい今聞いたらってことは いけるってことっすか

スピーカー 2

ちなみにRAMは何ギガ

スピーカー 1

RAMは128あります

スピーカー 2

RAMええええ

もうなんかとんでもない

スピーカー 2

どんなPC持ってる結構だね

スピーカー 1

宇宙戦艦ヤマトみたいなやつ 当時ビデオ編集やってたんですね

360度のやつとかをゴリゴリやろう と思ってなんかそこそこいいやつ

買ったんだよVRAM

スピーカー 2

それさ動くんじゃない

スピーカー 1

ひょっとして動くこれ

うん

スピーカー 1

マジ

スピーカー 2

専用いや結構いけるんじゃないか 専用のVRAM24と本体のRAMが128でしょ

スピーカー 1

128ある

スピーカー 2

それローカル動くっしょ

スピーカー 1

NVIDIAのRTX3090

スピーカー 2

3090か結構古いな

スピーカー 1

3090のVRAM24ギガ

ああ3090かそんなにめっちゃ早くはないけど

スピーカー 1

世代は古い

スピーカー 2

世代は古いねえその世代で128積んでんのメモリーやばくない

スピーカー 1

そうっすね4枚ぶっ刺してます

スピーカー 2

すごいねすごいね

無駄なメモリーですね

スピーカー 2

いけるいけるいける

スピーカー 1

でもこんなでもRAMなんて意味ないでしょ128ギガなんてあっても

スピーカー 2

RAMもいるよもちろん

スピーカー 1

RAMもいる?

じゃあちょっとこれ今日勉強したらやってみようかな

それなんか入りそうだね

スピーカー 1

入れてみようか

でもこれさVRAMにそんなもん乗せたらさ他のことに使えなくなるの?

スピーカー 2

他のことには使えないよねもうMAXだもんそれで

動画の掛け出しみたいな

スピーカー 1

もうそれだけなんだ

スピーカー 2

それだけのためのPCになると思う

それなんか使ってんの?ビデオの練習で使ってんの?

スピーカー 1

ちょっと書き出したりショート書き出したりするのは

MACでやらずにそっちでやらしてるとか

スピーカー 2

ああなるほどね

スピーカー 1

そういうのができなくなるんだね

スピーカー 2

できなくまあ俺もやったことないからわかんないんだけどできなくなる可能性はあるね

スピーカー 1

きつい

なるほどなるほど

スピーカー 2

でさっきもちょっとちらっと話したんだけど

結構でかいですよモデル自体は

なんだけど

スピーカー 2

いや違う結構もっとでかいな

だけど24あれば収まるかもなと

っていうのは量子化っていうものがあって

モデルのそもそもの

ローカルエディレイムの重さって何なのかっていうと

パラメーターの数とそこに紐づいてる

そのパラメーターの

数字なんだよね

どんだけ数字がいっぱいあるかみたいな

スピーカー 2

そのパラメーターの数字自体を量子化って言って

桁を落とすって言うとあれだけどビットを落としてあげるみたいなね

ビット落とす

8ビットから4ビットにするとかね

なんかそういう感じでこう

スピーカー 1

凝縮する

スピーカー 2

凝縮してあげると

桁が落ちるというかちょっとその数字のね

が丸々るんだけど各パラメーターの

それでもこう圧縮結構できるのよ

でそうやって圧縮していくと

VRAMに積みやすくなるみたいな

スピーカー 1

なるほどね

そういうテクを使えばもっといきますと

スピーカー 2

そうそういう量子化されたモデルがあるから

それだったら入るかもしれない

ただ当然そのパラメーターの桁を落として

性能は落ちないようにしてるんだけど

若干ちょっと性能が落ちてる可能性もあるよねっていう

ことはあるかなっていう感じ

スピーカー 1

なるほど

スピーカー 2

そうだね

金井がまさかそんなでっかいものを持ってるとは思わなかったけど

でかいんだねこれね

スピーカー 2

24はでかいでしょだって俺だって12とかだね

俺のRTX4070か

VRAM

スピーカー 1

40はいはいはいはい

スピーカー 2

でCPUは32ギガとかだったかな

全然動かん

スピーカー 1

持て余してますねこれ

スピーカー 2

すごいね

いやこれはローカル動く可能性があるぞと

スピーカー 1

ちょっとじゃあレポートしないとダメだなこれ

支部長に教えてもらって

スピーカー 2

そうちょっとねクエンが動くか

でもクエンもなんかね

一応いろいろホームページとかブログ見ると

それで動くよっていうのもあるし

128ギガの容量持っていても

動かなかったよっていう人もいるから

組み方にもよってだいぶ違うと思うんだけど

スピーカー 1

そこ知識いるのか

スピーカー 2

若干やっぱ難しさはあると思う

で例えばAppleとか

AppleだとUnified Memoryっていう感じで

CPUとGPUのメモリ区別してないんだよね

スピーカー 1

ああそうなんだ

じゃああれだね

Appleのメモリ128とかやってる人

スピーカー 2

そうあれね動くのよ

スピーカー 1

すごいね

その代わりCPUの容量が使うメモリも食ってるから

スピーカー 2

パソコンの動きとしてはどうなるかあれだけど

だからGPUで使える領域とCPUで使える領域を共有している

Unified Memoryという仕組みなので

Appleで128ギガとかっていうと

実はGPU側からも128ギガ使えるから

スピーカー 2

結構大きいモデルが乗るのよね

だからMacでみんなローカルLMやりたがるんだよ

スピーカー 1

ああなるほど

でっかいグラボ買わなくていいってことか

スピーカー 2

そうでも高いけどねその値普通に

普通に高いね

スピーカー 2

この前リスナーさんから教えてもらったのが

ローカル今一番熱いのが

MacBookのM1 Pro Max

M1なんだ

スピーカー 2

が一番熱いですよっていう風に教えてもらったのこの前

安っコスパがいいってこと

スピーカー 2

そう128ギガで20万円ぐらいで中古で売ってる

スピーカー 1

へえ

スピーカー 2

M1 Pro Maxだから世代としては2021年とか22年ぐらいで出たやつなのかな

古いんだけど

スピーカー 1

古いね

スピーカー 2

でも一応M1 Pro Maxだから結構積んでんのよ

ユニファイドメモリーで128ギガ積んでてモデルは乗ると

当然その処理能力は遅いんだけど

ちょっとローカルLMを遊ぶ分にはモデルがとりあえず乗っちゃえば

こっちもんだから意外となんかいいんじゃないかなと思って買ったんすみたいな

へえ

結構そのAI界隈というか

スピーカー 2

M1 MacBook Pro Maxちょっと名前正しくわかんないけど

暑いんじゃないみたいなことで

安くて暑いんじゃないみたいなことで結構言われてる

スピーカー 1

中古で

スピーカー 2

中古で確か20万で128ギガの

スピーカー 1

相当だよねグラボでそんなもの100万とかするでしょ

スピーカー 2

そうそうなんだけど確かにスピードとかあまり求めすぎずに

とにかくどんだけ動くかとか試したい

であればそれも選択肢とありだなと思った

なるほど

スピーカー 2

それめっちゃ発熱するらしいけどね

スピーカー 1

爆発しそうだな

スピーカー 2

そう当然古いしね

スピーカー 1

ちょっと遅いけどってことだよね

ちょっと遅いけど一応その乗れば動くから

スピーカー 1

うん

スピーカー 2

っていう意味でそのUnified MemoryってMacは結構

相性がローカルLMと相性がいいと

スピーカー 1

なるほどそういうことなんだね

スピーカー 2

そう

まあMac多少高いけど

スピーカー 2

うん多少高いけど

スピーカー 1

中古か

中古のね

スピーカー 1

それは支部長もありなんじゃない

スピーカー 2

それはね確かにでも相場調べたけどちょっと上がってるよねやっぱね

気づき始めてるかもしれないみんなが

スピーカー 1

買ってんだみんな

店売屋も買ってるかもしれないよこれ

スピーカー 2

そうだからあれなのよ本当に秋葉原とか行って

その店頭に出てるやつとかをうまく収集して買わないと

多分ねネットで買ってたら捕まされるだろうな

でも20万円ちょっとね勇気がいるよね

動くか動かないどのくらい動くかわかんないけど

なんか中古のM1ね

スピーカー 1

まともに動くんでしょうか

スピーカー 2

そうそうそう

ちょっとねそこは難しいよなみたいな

スピーカー 1

SSDは控えめでもいいってことだよね

スピーカー 2

まあそうだねストレージもだいたいその128ギガとか

あとニテラとかついてたりするんだよね

スピーカー 1

みんな買うんじゃないこれちょっと今検索してみたけど

スピーカー 2

結構いいらしい

いつも聞きに来てくれる人が

かねにも会ったことあるよその人

手伝ってくれた人で

スピーカー 1

ウィークエンド

スピーカー 2

ウィークエンドで

スピーカー 1

ありがとうございます

スピーカー 2

言ってました確かにその選択肢あるなと思って

スピーカー 1

買ったんだその人

スピーカー 2

買ったって言ってた

スピーカー 1

ちょっと豪華ってところ聞きたいね

スピーカー 2

遊んでますみたいな

あっそうだね人間知らないけど

スピーカー 1

これメインPCじゃなくて置いてあるんだよね多分

スピーカー 2

うん置いてあるなんか持ち運んではいると言っててなんか

スピーカー 1

へえ

スピーカー 2

ずっとそれ置きなんすかって言ったらいやいや持ち運びますよ

バッテリーは5時間ぐらいしか持たないけどとかって言ったけど

スピーカー 2

5時間持つだったら十分だなと

めっちゃ熱くなりますと言ってたけどなんか多分動いてはいるんじゃないかな

ぜひちょっとまた続行をお待ちしております

まあそういう選択肢もあるみたいな

スピーカー 1

うんうん

なんかそうだね中古とかで何とかしないと金額おかしいもんな

DGX SparkとAI発信者の機材事情

スピーカー 2

新品でよっしゃやろうぜと思った時に選択肢としてあるのは

NVIDIAのさっきも言ったけどDigic Sparkっていうね

NVIDIA

スピーカー 1

大本命

スピーカー 2

はい大本命

こちらも実はそのユニハイドメモリと同じような形で

スピーカー 1

へえ

スピーカー 2

128ギガの共有のメモリ構成になってるのねCPUGPUと

なので一応128の共有メモリがあって

VRAM128って感じじゃないんだけど

まあそんだけ乗りますよと

スピーカー 1

うん

それ分かれてない方がいいのなんかそういう流行りなのユニハイドメモリ

スピーカー 2

いやどうなんだろうねでも分かれてない方がいいというか

VRAMに128とか乗っけちゃうとそんでもないことになるんじゃない値段的に

スピーカー 1

ああやっぱそうなんだ

スピーカー 2

なんか共有した方が効率がいいのではないのかと勝手に思ってるけど

ごめんあんまりこのハードウェアの部分わかんないから適度なこと言ってるかもしれないけど

高そうめっちゃ高そうだもんね

スピーカー 2

でもそうだよね普通にさGPUのVRAMで24とかさ

そういうものの値段だけでもさもうすごい高いじゃん

スピーカー 1

高いね

スピーカー 2

あれが128とかだったらとんでもないことになる人だよね

スピーカー 1

それだけで200万みたいな

スピーカー 2

そう平気で行きそうじゃん

行きそうな気する

スピーカー 2

なんだけどDGXパークは100万ちょっとだよね

スピーカー 1

うんうん

それパソコンなのそれ自体

スピーカー 2

パソコン結構ちっちゃいよお弁当箱みたいのぐらいのほんとに

はあ

ちょっと大きめのお弁当箱

スピーカー 1

ほんとそれだけの特化してるみたいな

スピーカー 2

そうなんかサイズ的にはほんとになんか幅的にはマウスパッドぐらい

スピーカー 1

マウスパッド?

スピーカー 2

マウスパッドぐらいのなんかほんとにちっちゃいよ

え何幅マウスパッドって5ミリぐらいしかない

スピーカー 2

いや違う違う幅じゃないやこの大きさ

ああ大きさね

スピーカー 2

そうこのぐらいの大きさで厚みはなんか

スピーカー 1

マウスパッドのなんか都心のめっちゃ細長いマンションみたいな感じかと思った

違う違う違うそんなに大きいパソコンじゃないんだけど

スピーカー 1

ほんとコンパクトだよね

スピーカー 2

すげーコンパクトでめっちゃかっこいいよね

スピーカー 1

かっこいいんだ

スピーカー 2

そうかっこいい

スピーカー 1

DJ何DXスパーク?

スピーカー 2

DGX

スピーカー 1

DGX

スパークなんか車の名前みたいじゃんこれさっきの

スピーカー 2

あたしがGTRみたいだね

スピーカー 1

GTRうん

スピーカー 2

そうなんだよね

スピーカー 1

これが今じゃあ大人気なのこれ

スピーカー 2

大人気って言うと語弊があるけどねその界隈で

スピーカー 1

界隈でか

スピーカー 2

あとAMDのRyzenのAIMAXっていうのがあるらしいんだけど

スピーカー 1

RyzenってあれかG-Forceじゃないライバル企業

スピーカー 2

そうAMDのねRyzen

スピーカー 1

AMDの

スピーカー 2

AIMAXっていうのもあるみたいな

スピーカー 1

どっちも安そうですね

スピーカー 2

そうだねそれを並列につなぐっていう人もいるみたいだけど

それはGPUの名前だよね

スピーカー 1

価格.comで100万円ぐらいですね

スピーカー 2

DGXスパークでしょ

スピーカー 1

このパソコンはい

だからやっぱこれをなんか

スピーカー 1

100万円だって

なんかそうやっぱAIガチYouTuberとかこれ6台ぐらい積んでるらしいよ

スピーカー 1

何をしてんだろ彼らは

スピーカー 2

背景

スピーカー 1

彼らは何をしてんだ

スピーカー 2

唐揚げセレブ言ってたもんやっぱ

ビデオポッドキャストでAIのこと語ってて

背景にDGXスパークないのおかしい

スピーカー 2

そこがあって

AIのポッドキャストなんだなみたいな

あれかもうG検定E資格

スピーカー 1

DGAなんとかスパークみたいなそういうことなんだね

めちゃくちゃ飛んでるけどね

スピーカー 2

だからここはクロード君がいるじゃない背景にね

クロード君の台座としてやっぱここにDGXスパークないと

やっぱあの拍がつかないというか

あーこいつらそのレベルなんだよねみたいな

スピーカー 1

ちゃんとやってないんだみたいな

スピーカー 2

せめてカネリンのライティングされたところのところに

一個キラキラ輝くDGA

スピーカー 1

ここにはめ込んどく

スピーカー 2

はめ込んどいて

スピーカー 1

そんな感じのものなんだね

スピーカー 2

そうそんな感じの

なんでそんなにみんな勝ってるんだって感じだけど

スピーカー 1

発信者同士でマウント合戦みたいな

スピーカー 2

うちはもう2台あります新しいの買っちゃいましたみたいな

え唐揚げ先生は持ってんの?

スピーカー 2

持ってる

スピーカー 1

うわーすげー

スピーカー 2

やっぱAIで発信してる人だから

スピーカー 1

ポジショントークすげーなほんと

スピーカー 2

いや持ってないですがみたいな

あらあらららみたいな

偽物ですね支部長さんってなっちゃうから

いやー

スピーカー 2

ちょっと買えないですけどね

スピーカー 1

唐揚げさんぐらいだったらなんかちゃんと使ってるんだろうけど

ユーチューバーは何に使ってんの?

スピーカー 2

その人ももうガチのやつだよね

唐揚げ先生は

自分のさコミュニティの中で動く

AIエージェントだから

スピーカー 2

オープンクローとかあるじゃん

オープンクローのオリジナル版を作ってるんだよね唐揚げ先生

ザンギってやつを

スピーカー 1

それそういうやつなんだザンギって

スピーカー 2

よりオープンクローやつちょっとリッチすぎるから

スピーカー 1

オープン唐揚げみたいなことね

スピーカー 2

オープン唐揚げでございます

ザンギもそうだねだから揚げ物だよねだから

スピーカー 1

ザンギって何揚げ物って意味なの?

揚げ物だけどザンギって食べ物あるじゃん

スピーカー 2

唐揚げみたいなやつ

スピーカー 1

そうなの?

あるよね そんなの誰も知らないと思うよ

え?あるよザンギは 唐揚げとかにしてよ唐揚げさん

スピーカー 2

ややこしいじゃん名前が同じだと

カネリンが作ってるカネリンというサービスがあったらややこしいでしょ

スピーカー 1

カネリン俺も全部カネリンだよね

スピーカー 2

ザンギってほら

スピーカー 1

国会堂の

スピーカー 2

唐揚げみたいなやつ

スピーカー 1

居酒屋とかでよくあるやつ

スピーカー 2

そうそうそうだからそういう名前

食べ物系で

スピーカー 1

下層天とか下層唐とかにしてほしかった

スピーカー 2

この時間にこういうの見るとお腹が空いてくるからあんまりよくない

スピーカー 1

そうですね

スピーカー 2

下層唐

自分で作ってんだ

スピーカー 2

そうを返してコミュニティの質問に回答するみたいなところに使ったりとかしてるらしい

スピーカー 1

すごいね活用してる

スピーカー 2

としてちょっと実験的な部分もあるんだろうけど

だから落ち着きAIコミュニティもほらやらないと

ローカルLMで動いてるみたいな

スピーカー 1

ほんとだよなほんとだよな

落ち着きAIコミュニティでなんかこういろいろ実践をしていきたい構想はねあったけど

追いついてませんよ

スピーカー 2

追いついてないね追いついてないステップはステップです一個ずつやっていきましょうという

スピーカー 1

アジャイル開発

スピーカー 2

知ってることを出せばいいと思うじゃないですか

スピーカー 1

なんかやりながら直すみたいなイメージかなと思って

スピーカー 2

そうね作りながらね穴がち間違っちゃいないけど

スピーカー 1

そうかローカルがあるとそういうことができると

電気代、LM Studio、Windows自作PC

スピーカー 2

そうそれが勝手に家の電気代だけで家の電気代だけでっていうけど

結構電気代もかかるんじゃないかなとは思うけどさ

スピーカー 1

そうだね電気代すごいよ

スピーカー 2

でもかなりさパソコンとかぶん回してなかったらなんか

ビットコインとかなんかずっとマイニングの文化あるじゃん

スピーカー 1

そうですねマイニングをね昔してましたねこの子で

スピーカー 2

あマイニングしてたんだやっぱ

でめっちゃ熱持つんで冬は暖房兼マイニングで

スピーカー 1

電気代結構かかるから結局トントンみたい

スピーカー 2

そうだよね電気代かかるんだよね

時間を買ったかなぐらいかな当時のレートでみたいな

スピーカー 2

マイニングってどんぐらいお金かかるの電気代どんぐらいかかるの

スピーカー 1

なんか電気代でもそんな10万はいかなかったかなぐらいですけど

家庭の電気代の何か数倍いってたかな

なんでこんな高いのみたいな感じだった

スピーカー 2

ちゃんとかかるね

スピーカー 1

ちゃんとかかる

だしなんかもう夏は灼熱地獄みたいになってた

スピーカー 2

なんかLLMどんだけ爆熱になるかわかんないけど

そのぐらい電気かかったらなんか課金した方がいいってなりそうな

スピーカー 1

でもそのNVIDIAのやつはわかんないけどね

効率良さそうだけどね

スピーカー 2

そんな爆熱っていう感じではなさそうな気もするけど

スピーカー 1

ゲーミングパソコンみたいなやつやってるから

効率すごい悪そうだけど

スピーカー 2

どうなんだろうねどこまでバクバク動かすかっていうところもあるとは思うけどね

スピーカー 1

今もだから結構フルでたまに動いてて1日中

その今のさ切り抜きをレンダリングするみたいなショートレンダリングするみたいな

一気にバーってやるともう灼熱地獄だ

まあそうだよね

スピーカー 1

電気代は見てないです怖いんで

スピーカー 2

いやなんかそこまでバリバリ動かしてないからな

なんかパソコンをMacBookのMacBook Airで全てをやってるからね今

スピーカー 1

すごいよねそれはね

スピーカー 2

動画もまあポッドキャストなんて別にさそんなにPC使わんじゃん

スピーカー 1

うんうんそうね

スピーカー 2

そのノイズ処理とかねカネみたいにやらなければ本格的に

なんかポン出しだからさ基本的に音に関しては

動画も別にそんなこった編集しないし

スピーカー 1

渋長ショートとかも作ってるな

まあショートちょっとぐらいだったら別に

スピーカー 2

ショートもね別にそう単に切り出すだけだから問題ないし

スピーカー 1

ああそうか

スピーカー 2

ってな感じかな

だけどやっぱその家にあるRTX4070をなんとか

スピーカー 1

ねえなんか

スピーカー 2

使いたいけど4070もうね5090の時代なんですよね

スピーカー 1

ああでもそこよりあれじゃないのなんか

RAMの大きさが重要?

スピーカー 2

そうだよVRAMの大きさが重要なんだけど

結局今の現行のやつでも

うんうん

スピーカー 2

どこかあったよな確か

スピーカー 1

でもそれ中古のVRAMじゃねえや

グラボとか安くないのかね

スピーカー 2

中古のグラボちょっとあれだよな

スピーカー 1

火吹きそう?

スピーカー 2

いや火吹きそうではないけどなんかこう

そうね拡張

結局まあ自作PCだから俺も作ってるのが

使ってるのがあれを拡張していくって手もあるけど

高えんだよな結局ね

確かに高えんのね

スピーカー 2

あでもあれだ俺が調べた

中に

RTX3090あるわ

かなり3090って言ってたよねさっき

スピーカー 1

3090やね

スピーカー 2

一番コスパのいい構成

RTX3090で

CPUもちょっと増設して

VRAM24GBと

で構成すると

意外とギリギリ乗るんじゃねえかみたいな

スピーカー 1

ギリギリ構成か

スピーカー 2

結構ギリギリ構成のあれにはなってるね

本当に動くんかな

でもまあ今あるもので試してみるのはいいと思うね

スピーカー 1

ちょっと何これ

クロード君に聞きながらやりゃいいのかね

いろんなやり方があんのでもその構成の仕方って

スピーカー 2

まあそうだね構成の仕方自体はいろいろあるんだけど

一番簡単なのがやっぱLM Studio

スピーカー 1

何度か出てきてるやつだ

スピーカー 2

これGUIで動かせるから

スピーカー 1

それがやっぱ依然としておすすめですか

スピーカー 2

やりやすいと思う

ダウンロードして会話したい人の入り口って感じかな

スピーカー 2

他にもいろいろ構築手法があるんだけど

あんまりごめん深掘りできてないわ

最近そのWindowsはさ

スピーカー 1

Macと通信つないであるんですよ

なんかアプリでテイルなんとかみたいな

でAIがもう直接動かしてもらっていろいろやってるんで

何が起きてんのかブラックボックス状態ですね

スピーカー 2

全部お任せなんだね

スピーカー 1

そうね

てかWindows触らずにMacから全部動かせるんだみたいな

ちょっと感動してるんだけど

ファイル消したりも当然そうだけど

スピーカー 2

どういう経由でそれ動いてんのそれ

ネットワークからファイルやり取りかな

スピーカー 1

Wi-Fiの

データ送って重いデータは

重い処理はWindowsでやって

完成したやつを返してみたいな感じですね

出先でもそういう風に回るようにしてあって

Macでは何も回さないみたいな感じ

スピーカー 2

結構やってんね

でもそれいいね

Macもさ最近MacBook Pro買ったよね壊れてたけど

スピーカー 1

そうですよ壊れてってね

先日やっと返品できました

70万円早く返してくださいもうカード会社さん

スピーカー 2

あれそうか買い直したんだよね

買い直して返品

最初のやつが返金されるみたいな

謎ルーティンだったよね

スピーカー 1

特別対応でちょっと伸びて

1ヶ月ちょっとぐらい返品期間過ぎてますけど

いいですよってなって

で直ってきたんで

この間買ったやつを返品してきました

なんとか一悶着二悶着あったけど

スピーカー 2

じゃあ手元にはあるの?

あの壊れ画面半分消えてるMacBookじゃなくて

スピーカー 1

直ったやつが

スピーカー 2

それスペックなんだろう

スピーカー 1

これスペックは

あれだね

なんだったっけこれ

M5 Pro

スピーカー 2

メモリは?

スピーカー 1

40いくつ

ちょっと48か

ちょっとね

メモリしょぼいんですよ固まってばっかなんでね

スピーカー 2

48でしょぼいはちょっとあれだよお金にさ

ずっと固まる話です

こっちがやばい

MacBook Air 16GBだ

え?それで固まんない?

スピーカー 2

固まる

3個ぐらい並列で作業してると

あー

スピーカー 2

ポッドキャスト処理させてショート動画作って

後でなんかしてってやると

メモリがいっぱいですみたいなやつが出てくる

何かを落としてくださいみたいな

スピーカー 1

うーん

ほんと128とか欲しくなるよね

スピーカー 2

上を見たらキレがないよなほんとに

スピーカー 1

VSコードでさもう

タブ開きまくってなんかマルチみたいになっちゃってるからさ

スピーカー 1

止まりまくって

ダメだなって仕事のやり方ダメだなって思ってる

スピーカー 2

VSコードじゃない方がいいかもね

ターミナル直接開くみたいな

スピーカー 1

怖い怖いそれは

スピーカー 2

ターミナル複数でバーって管理できるやつあるよなんか

スピーカー 1

そうなの?

VSコードダメ?

スピーカー 2

ダメじゃないよダメじゃない俺も使ってるけど

ファイル確認するし

スピーカー 2

意外とVSコード開かなくてもいいよねみたいなとこはある

スピーカー 1

ああそう

スピーカー 2

そのなんかファイル見ないんだったら

ファイル見ないね

スピーカー 2

普通にその

チャットGPTのデスクトップアプリでやっちゃうとかさ

コーデックス使えるじゃん

スピーカー 1

うんうんうん

スピーカー 2

ちょうどよっぽど楽なんじゃないかなってのあるけど

ドルミチンメモリアクールでしょ?同じように

スピーカー 2

まあそうだね

スピーカー 1

外部メモリーとかないのかね

スピーカー 2

外部メモリーね

増設するしかないよなもうストレージじゃないのかな

スピーカー 1

ラブを増設したいよな

スピーカー 2

そっか増設って言ってもあるよな

ちょっと今パソコン

スピーカー 1

うんうん

スピーカー 2

2年目でもうすぐ

でもGP高いんだよな結局な

スピーカー 1

その今のAirより

例のM1 Pro Max 128の方が良かったりすんじゃないの?

スピーカー 2

そうだねそれはそうだね

今デスクトップPCがさ

家にあるから

あっちを増設した方がいいんじゃないかみたいな20万円あったら

スピーカー 1

はいはいはい

スピーカー 2

説もあるよね今すでに付いてるRTXの4090プラス

4070かプラスなんかもう一個みたいな

スピーカー 1

うんうんそっちをじゃあ強化していくんだね

スピーカー 2

強化した方がいい気もするし

なんかパソコンでもなあんまり自作パソコン

いじっていい思い出がないからな壊れたりとか反応しなかったりとか

壊れるからね

車いじってるような人だからめちゃめちゃいじるのかなと思って

スピーカー 2

いやああやるよやるけどなんかね

いきって水冷パソコンとかにしたからいじるのめんどくせえんだよな

スピーカー 1

いいね

スピーカー 2

やっぱ車と一緒でさ冷やすのと水冷でしょみたいな感じで水冷ユニット今貼り付けて

まあそんなに水冷

スピーカー 1

いじりにくいの水冷にすると

スピーカー 2

いじりにくいわけじゃないけどちょっと線増えてたりとかしてめんどくさい

けど水冷でもそんなガチガチに水冷にしてるわけじゃないから

ガチガチっていうのは本当に水冷にする人はさ水見えるようにするのよ

でちょっと色付きで

スピーカー 1

水族館みたいな

スピーカー 2

水族館みたいなちょっと照らしてみたいな

はい水冷パソコンですよこれみたいなね

スピーカー 1

かっこいい感じね

スピーカー 2

そうかっこいい感じでそういうことにするとさ漏れるんだよね水が

スピーカー 1

液が漏れる

スピーカー 2

で終わりみたいな

スピーカー 1

リスクを負うんだけどかっこよさの代わりに

そうならないようにもうなんか一応水冷の線が通ってるんだけど

スピーカー 2

CPU冷やすクーラーと水冷ユニットがあって

そこガチガチの線が通ってるみたいなやつを付けてるんだけど

頑丈なやつね

頑丈なやつ

スピーカー 1

俺も水冷だったかなCPUとGPUはね

スピーカー 2

やっぱ水冷の方がねうるさくなくて

いいって話あるけど結局うるせぇんだよな

スピーカー 2

みたいな

スピーカー 1

水冷うるさい

スピーカー 2

水冷はうるさくないんだけど他のファンがうるせぇな

そこだけじゃないしね

スピーカー 1

結局ファンファンレスにはできないよね

そうね結局その筐体の中を循環させたりとかしたいから

スピーカー 2

っていうのあって意外とうるさいっちゃうるさいんだけど

パソコンちゃんと増設するかな

スピーカー 1

なんかその後ろの3Dプリンターがね

そのうち巨大パソコンになってく日もあるかもしれない

積み上げられてるかもしれないパソコンがね

東京に持ってくるのめんどくさいから

スピーカー 2

こっちいるうちはちょっとなんとかMacBook乗り切りたいよな

って言ってたらもう来年になっちゃうんだけどさ

スピーカー 2

めんどくさいねパソコン持ってくるの

パソコンの郵送もあるんだけど専用のね

スピーカー 1

何かしら壊れそうだよね

スピーカー 2

一応ね壊れた時の保証ありのなんか

そういうなんかお店に持ってけば運んでくれますみたいなやつはある

スピーカー 1

キャリーケースに何とか入れて持ってきたの?

入んない入んない入んない

スピーカー 1

入んない結構でかいね

スピーカー 2

でかいでかいそんなキャリーに入るようなもんじゃないよ

割とでかいやつなんだ

すごいでかいやつを買いました

30万ぐらいしたよ買った時はね

ゲーミングっぽいやつね

スピーカー 2

そうゲーミングPC

その時はゲームやるんだと思って買ったんだけどね

スピーカー 1

その時はゲームやるんだなんだ

スピーカー 2

ゲームそうあのねアーマードコアっていうゲームと

スピーカー 1

なんか聞いたことある

スピーカー 2

フォルザっていうゲーム車のやつだねこれは

をやるんだという強い意思のものに買ったんだけど

全くやんなかったね

睡眠不足と健康の話

スピーカー 1

なんでなんで時間がない

スピーカー 2

時間がないそうそうそう

ゲームやってる時間になってないなと思って

スピーカー 1

そんなこと最初っからわかってんじゃん

だけどわかってるけど

スピーカー 2

なんかなんだろうね余裕はあるよねみたいな

いつも余裕ないのに幻想の余裕を見てるみたいな

スピーカー 1

時間の目測を誤る感じなの

スピーカー 2

そう一日を40時間ぐらいで観察しちゃう癖があって

スピーカー 1

すげえ緻密にやってそうなのに

スピーカー 2

全然足りねえみたいな

スピーカー 1

で睡眠時間がやられてしまう

スピーカー 2

いつも毎週落ち着きAIも収録前にさ

あっこんだけ時間があるから原稿このぐらいできて

スピーカー 2

このぐらいに余裕あるなと思うんだけど

いつも5分前ぐらいまで収録の

やべやべやべってなってて

スピーカー 1

なんかそれ意外なんだよな

スピーカー 2

バタバタして

スピーカー 1

計画的に時間は決まってそうなのに

スピーカー 2

そうなんだよね結局一個やり始めると増幅すんだよね

そのタスクがあやべこれこれもやんなきゃいけないじゃんみたいな

スピーカー 1

それAIならではで

スピーカー 2

違うもう全然普通に自分の仕事として

今日もなんかその案件受けてる動画をさ

無視付きAIの収録前に作らなきゃいけなくて

動画作ってたんだけど

やべえみたいなこれ足りてなかった

スピーカー 2

これ違うわみたいな

これは本当に効かなきゃみたいなことがあって

で結局想定よりも1時間ぐらい

なんか時間かかってるみたいなのばっかなんだよ結構ね

スピーカー 1

意外ですね

自分の力量把握してどれぐらいできるからみたいなの

全部管理できてんのかと思ってた

全然管理できてない

スピーカー 2

結果寝れないみたいになるよね

スピーカー 1

ははははははははは

スピーカー 2

よくないそういうとこAIに管理してほしいんだけど

スピーカー 1

そうだね電気食のAIはどうですか

スピーカー 2

そうね気絶させるみたいなね

もうなんかここら辺にさつまみつけといてさ

血液をピュッて止めて

みたいな

死なない程度に

ちょっと抑え所間違って死んだみたいな

スピーカー 2

そうね危ないね危ないわなんかまかり間違って

首絞めた

スピーカー 2

首解除されなかったら死ぬもんねやめとこう

スピーカー 1

フィジカル怖いね

スピーカー 2

フィジカルは怖いですね

ジェブニー判断させてこう生きてますから

スピーカー 1

でもいろんな生体データ入れてんの?

なんていうのかな自分のこれウォッチとか

スピーカー 2

あーいや入れてないねこの前

人間ドッグのデータをチャットGPTに読み込ませたぐらいをしたけど

スピーカー 1

あー

なんか数値悪いのあるんだね

スピーカー 2

そうだでも回復したよちょっと

スピーカー 1

なんで回復できるんだ

スピーカー 2

肝臓がCになったDから

睡眠ちょっと改善した?

スピーカー 2

いやわかんない何もやってない

でもランニングとかはね運動は

ジムには通い始めてるから

スピーカー 1

ああそうどう続くのそんなの

スピーカー 2

そう続けてはいるよ

スピーカー 1

東京来てからなんか健康的なチャイ始めて

運動を始めてでまた瞑想を再開みたいな

スピーカー 2

そうなんか妻に言われたけどね

寝た方がいいんじゃないそんなことするよって

スピーカー 1

全くその通りだ

でも何かしてないと気が済まないから

スピーカー 2

あのさジムもよくなくて

スピーカー 1

ああうん何

スピーカー 2

走り油酸素をした方がいいよ肝臓にって書いてあったから

油酸素をしようと思うんだけど

思い立つのがさ作業が全部終わって思い立つのが12時半ぐらいなんだよね

スピーカー 1

夜中?だめだね

スピーカー 2

よしじゃあちょっと30分ぐらい走りに行っちゃうやん

睡眠にすごく多大な影響がある多分ね

スピーカー 1

寝る前に走るってちょっと

スピーカー 2

よくないよね多分ねなんだけどそこのタイミングで時間が取れるからさ

ちょっともう走らないとなみたいな

スピーカー 1

起きてからは?起きてから走ったの?

そうそれもあるじゃん朝起きてから走るのもいいなと思うんだけどさ

スピーカー 2

朝は朝で忙しいんだよ色々

寝る前しかないんだ他のも寝る

しかなくて優先度の高い仕事がねいっぱいあるんだ朝は朝で

スピーカー 1

朝が一番冴えてる?

冴えてはいるよ朝やるんだったらやっぱ本書いたりとか

スピーカー 1

クリエイティブな

スピーカー 2

クリエイティブをしたくて

スピーカー 1

脳みそ使うやつ

スピーカー 2

そうフィジカルを使うだったら残りなんかその日に絞りきれなかった体力を使って

体をいじめるみたいな方がいいかなと思って夜走りに行くんだけど

絶対良くないなと思ってる健康に

スピーカー 1

そうだねで寝つき悪くなる

スピーカー 2

寝つき悪くなる

やばすぎ

スピーカー 2

寝つき悪くはないね気絶するように寝れるけどね

全てを使い切ったみたいな

スピーカー 1

疲れて寝てていいんじゃないの

スピーカー 2

でもさ何だろうなんかスマホの充電と一緒でさ

なんか80%70%ぐらい朝起きたら体力的に

マックスになってないみたいなね

スピーカー 1

100にはなってない

スピーカー 2

100にはなってないなみたいな

スピーカー 1

時間がね足りてないからね

スピーカー 2

時間が足りてないからそのなんかちょっとプッて刺してさ

10分ぐらい充電してピュッて抜くみたいな

5%ぐらい充電できましたみたいな

スピーカー 1

3時間4時間でしょ

スピーカー 2

よくない本当に睡眠不足は本当にね最近そのショートスリーパーの人も話題になってたけど

スピーカー 1

俺のタイムラインには1ミリも流れてこないのよ

スピーカー 2

めちゃくちゃ流れてくるなんで

スピーカー 1

渋長睡眠不足だからでしょ

スピーカー 2

違うよ今全日本のSNSに流れてきてるはずなんだよあれは

スピーカー 1

あれこちゃばだって

スピーカー 2

いやいやいや

スピーカー 1

俺一回も見ないもんめっちゃ検索してようやく探したもん俺

いやめちゃくちゃ出てくるよ

堀なんとかさんでしょ

スピーカー 2

堀さんすごい出てくる

スピーカー 1

本当さ全然知らないけどさもう本当嘘だ嘘だとしたら罪深いよね

30分でいいっすよとかって言ってそれ信じてさ体おかしくなっちゃってる人いるっしょ

スピーカー 2

そうねいやあれはねえでもなんかあれらしいよ

なんかあの1週間なんか30分睡眠みたいなやつのチャレンジやって

スピーカー 1

はいはい

スピーカー 2

それの結果なんかその口座めっちゃ申し込み者増えたらしいよ

スピーカー 1

なんで

スピーカー 2

わかんないけどすごいね

スピーカー 1

いじりにきてんのみんな

スピーカー 2

ちょっと若干そのなんか今が旬だからちょっと受けてきましたみたいなこと言おうってお金払ってる人も多い気がするけどね

スピーカー 1

そっちか

スピーカー 2

そう乗っかりみたいな

スピーカー 1

でも大丈夫だったのその人倒れて倒れず

スピーカー 2

倒れずにはなんか疑惑はいろいろあれど

スピーカー 1

ヘロヘロだったんでしょ最後の方

最後の方ヘロヘロだったしなんかチンチンも出しとったよ

スピーカー 1

やばいな

スピーカー 2

本当にミスで

やばいじゃん

スピーカー 2

ミスで出るっていうなんかね

スピーカー 1

やばいじゃんその人

スピーカー 2

すごい話題の作り方上手だなって思ったね

スピーカー 1

話題の作り方上手なの

スピーカー 2

上手でしょだってあんな注目されてさ

スピーカー 1

自分の何それそういう作戦なの

スピーカー 2

わかんないどこまでが戦略なのかわかんないけどなんか深読みすると全部戦略なんじゃないかなと思っちゃうぐらい

スピーカー 1

発信者を信じちゃダメだね

スピーカー 2

面白かったわなんか

面白かったんだ

スピーカー 2

俺もちょっとあのねちぎられた情報しか見てないけど

スピーカー 1

いや俺ちょっと

スピーカー 2

見て流れてくるから

スピーカー 1

いやすごいなすごいね

スピーカー 2

でもね睡眠時間がね確かに削られたら一番いいんだけどね

そうそれで健康に生きれるのあれば

スピーカー 1

うんうん

だからちょっとね人のフリーみて

やっぱ

スピーカー 2

じゃないけど睡眠

スピーカー 1

落ち着きスリープの先生の言ってたことは本当だったなと思って

スピーカー 2

何つってたっけなんかいろいろ

スピーカー 1

オンエアで多分言ってないけど

なんかこういうね堀さん当時流行ってたから

なんか30分でいいとかいう人最近いるけどあれ本当なんすかっつって

いやまあそういう人がいてもおかしくないかもしれませんけど

ちゃんと寝てくださいって

すげえ冷静に言われたんだけど

スピーカー 2

いやそうね

スピーカー 1

信じちゃいそうだからさ

やっぱその若年性アルツハイマーとかさやっぱリスクを抱えるらしいよね

スピーカー 1

そうだね

病気症とか

排出できなくてねその老廃物が

スピーカー 2

そうそうそう

スピーカー 1

言ってたなそんなことも

スピーカー 2

だから俺もう怒られないよなんかそうその話も今週ちょうど妻としたんだけど

本当にこれ若年性アルツハイマーとかなったらさ

ほら言ったじゃーんってなるからやめてほしいって

スピーカー 1

いやいやほら言ったじゃんってすまないよね

スピーカー 2

何言ったってってなっちゃうじゃん

そうだねボケ老人

50くらいでボケ老人

スピーカー 2

困るよね

スピーカー 1

本人困んないもんな

スピーカー 2

本人困んないからそう一番良くないよね

スピーカー 1

ポッドキャストの相方と人生の相方は困る

スピーカー 2

そう

なんだってって落ち着きえないねなんだってみたいなことをずっと言ってね

スピーカー 1

同じ話ずっとする

スピーカー 2

ずっとするみたいな

カネにも言うてそんな寝てないでしょ

スピーカー 1

いやいや

寝てる?ちゃんと

スピーカー 1

睡眠時間俺結構頑張って撮ってますよ

スピーカー 2

撮ってるんだ

スピーカー 1

確保してますね

寝る時間はもうバグってるけど

スピーカー 2

そうだよね

スピーカー 1

朝寝てほんと夕方起きるみたいな時はあるけど

でもなんか落ち着きスループの先生も寝れてりゃいいって言ってたよね

スピーカー 2

時間がめっちゃずれてても

スピーカー 1

うんうんうん

時間は絶対支出してくださいって言ってたな

スピーカー 2

そうね

でも今週俺10時間ぐらい寝てたよ

おー

土曜日

スピーカー 1

寝れるんだそんな急に

スピーカー 2

いやなんか寝て起きたら育つと

子供の寝かしつけのまま寝ちゃって

スピーカー 1

うーん

スピーカー 2

でいつもさ子供の寝かしつけ起きれるようにさ寝ても目覚ましをかけとくんだけど

アップルボッチでかけ忘れちゃって

朝起きたら朝だった

スピーカー 1

いいねいいスッキリした

9時ぐらい寝て

スピーカー 1

うん

スピーカー 2

6時か7時ぐらい起きたの

スピーカー 1

人間だ

スピーカー 2

人間だと思ったね

クソ体調悪いから寝すぎて

スピーカー 1

寝すぎて睡眠不細とか

解消できないらしいからね

スピーカー 2

いやそうねなんかもう寝るしかないっす

スピーカー 1

いや寝てください

スピーカー 2

俺さもう2年ぐらいずっとこれ言い続けてんだよね

もうみんな信用してないよ俺の寝なきゃいけないねって言葉を

スピーカー 1

それはそうだよね

ギリギリまで詰め込むんでしょうだってね

スピーカー 2

そうで俺ももともとはね

睡眠いるのかどうかみたいな

会議的でしたから俺

スピーカー 1

ああそう堀さんだったの

スピーカー 2

堀さんだった

スピーカー 1

やば

なんか意味わかんないな脳が疲れるって意味わかんないと思ってさ

スピーカー 2

ってずっと思ってただって筋肉は物理的な動きがあるじゃんこうやって

なんか乳酸なるものがたまってさ

動かせなくなるのわかるんだけど

脳って物理的に動いてないから

なんか疲れとかないんじゃないかと思ってた

スピーカー 2

だからエネルギーさえ導入してれば

ずっと動き続けるんじゃねえかなと思ってた

ラムネを食い続けてた時期あったんだけど

スピーカー 1

やべえブドウ糖補給みたいな

スピーカー 2

ブドウ糖が足りなくなるから脳が動かなくなるだけであって

っていうシンプルな期間だと

思い込み行動してた時期あったけど

スピーカー 1

なかなか怖い行動ですね

スピーカー 2

どうやらそういうシンプルな話ではないらしいよ

難しいねなかなかね

スピーカー 1

睡眠はやっぱりねみんな

興味のあるところで

睡眠の番組もね

ちょっと今一時停止してますが

スピーカー 2

コメント書き込めば始まるの

始まるかもしれない

スピーカー 2

聞きたいですよみたいな

スピーカー 1

そうそうそう

求められてない番組は作りませんっていう

俺のポリシーがある

スピーカー 2

今一番求められてるでしょ

それは堀さん界隈でしょ

スピーカー 2

今だって本当に睡眠は

スピーカー 1

そうだよね

今とか明日とかないよねずっとだよね

スピーカー 2

ずっとなんだけど

なんかやっぱ注目のが高いから

スピーカー 1

そうかじゃあまず

初っ端は堀さんについてかな

スピーカー 2

そう

なんかゲスト呼んでほしい

怖いからやめたほうがいいかな

ちょっと怖いな

スピーカー 1

怖い人なの

スピーカー 2

なんか怖いね

スピーカー 1

なんかさ怒りっぽくなるんだらしいね

あの睡眠不足って

スピーカー 2

そうそうそう

なんか最初はそうかなと思ってたけど

睡眠不足だから怒りっぽいのかなって思ってたけど

なんか普通にそういう性格っぽくもあるから

堀さん

スピーカー 2

堀さんの場合はなんか

スピーカー 1

支部長もちょっとやっぱりあれじゃない

睡眠不足でキレてんじゃないの

スピーカー 2

AIに

スピーカー 1

AIとか

多分知らずに人にもキレてると思う

スピーカー 2

キレてるかな俺

スピーカー 1

なんかちょっと

なってんじゃない

スピーカー 2

俺そんなにね

キレないよ

スピーカー 1

めっちゃ寝てたらもっとすごい

スピーカー 2

もっと優しいかな

スピーカー 1

ソフトな感じになるかもしれない

スピーカー 2

ちょっと

そうね

どうやって睡眠時間を確保するか

スピーカー 2

今週だけでもう寝れないの確定してんだけどな

そういう時期ということでね

スピーカー 2

そうっすね

なんの話だっけ

そうだよ

違うよ 睡眠の話じゃないですよ

ローカルLLMの話ですよ

スピーカー 1

そうです

スピーカー 2

ローカルLLMでございます

どこまで話したっけ

もはやもう

スピーカー 1

そうなんかパソコンに入れて

使えるじゃーんみたいなテンション上がって

スピーカー 2

そうね

なんか説明してないことあったっけ

量子化の話はちょっとチラッとしたからいいや

スピーカー 1

量子化はちょっと小さくするやつね

VRAM重視の結論と試し方

スピーカー 2

結局まとめに入るか

まとめると

スピーカー 1

はいはい

いきましょう

スピーカー 2

VRAM大事ですよって話です

モデルを全部そこにぶち込んで

そこから動かしたいから

VRAMの大きさがいるんだけど

スピーカー 2

別にVRAMに収まらなかったとしても

CPUオンロードで

CPU側のメモリにも乗せれるっちゃ乗せれると

基本的にはVRAMに乗せたほうが良くて

VRAMの大きさが

スピーカー 1

めっちゃ遅くなる

それやると

スピーカー 2

遅くなると思う

ボトルネックがそこになるから

スピーカー 1

あんま良くないね

スピーカー 2

あんま良くないけど

とにかく乗らないことには

スピーカー 2

あんまりしっかり動かないよっていうのがあるので

高いパソコンだったりとか

Apple Siliconであれば

ユニファイドメモリという形になってて

CPUのメモリとGPUのメモリを共有する仕組みもあるので

そういうので乗せてあげると

意外と動くこともあると

なので

スピーカー 2

最安値はもしかしたら

MacBook

Pro

MacBook Pro Maxなのかな

かもしれないと

スピーカー 1

20万円中高

スピーカー 2

ちょっとやってみたら

リスナーさんがやってるんでね

その結果をちょっと聞きたいところではあるんですけど

スピーカー 1

聞きたいっすね

スピーカー 2

もう安心してやるんだったら

GTX Spark100万円買っていただけると

スピーカー 2

一番良いんじゃないかな

スピーカー 1

やばすぎるな

これ何か使ってる人いたら話聞かせて欲しいな

スピーカー 2

いやー何か意外とね

SNS見るとあるんだよ

スピーカー 1

みんな使ってんの?

スピーカー 2

みんな使ってる

スピーカー 1

羨ましい?

スピーカー 2

羨ましいけど

そうね

いやーすごいよな

スピーカー 2

やっぱそこまで力を入れるのは素晴らしいなと思うね

スピーカー 1

支部長まだね

色々なことに力を分配してるからね支部長

スピーカー 2

そう

俺もねポンと自分の事業のお金で

あーちょっと買いましたわって言えるぐらい稼げるといいんですけど

まだそこまで至ってないんでね

スピーカー 1

AIの人の文脈を濃くしていく?

スピーカー 2

そう来年ぐらいにはねもう

ちょっとDGPX Spark置く場所なくなっちゃったな

スピーカー 2

いっぱい買ってってなっちゃうぐらいの

リスナーさんに配っちゃうぐらいのね

配っちゃうかなみたいな

ヒカキンみたいな感じでね

スイッチ2配るぐらいの感じで

スピーカー 1

いいね

今回の落ち着きLTの景品

DJなんとかスパークです

スピーカー 2

今年俺の3Dプリンター製のトロフィーなのに来年DGPX Sparkなの

すごい飛躍だよそれは

スピーカー 1

一周年で伸びるかもしんない

スピーカー 2

確かにそのぐらいやっぱ伸ばしていかないといけないね

ヤバいな

スピーカー 1

でもやっぱAI一年でどうなるか分かんないって言われてるじゃん

ってことはもうこの番組も一年どうなるか分かんないぐらいのさ

ちょっとワクワク感は欲しいよね

スピーカー 2

いやそうね

スピーカー 1

なんかもうこんな

なんていうのこの二次関数のグラフいらないのよ

バカンみたいな

スピーカー 2

そうだからさもうね

だからフォロワーとかもさ

やっぱそのねちょっとずつちょっとずつだよ

もう1万人とか2万人とか

スピーカー 1

そうだよね

それとかボンと目指していかないと

スピーカー 1

うん何かが起きたらって感じだよね

スピーカー 2

そうそうそう

スピーカー 1

やることは淡々とさなんかさ

やっぱり誠実にやってればって感じな気はするんだけど

スピーカー 2

まあそうねコツコツは大事だけど

きっかけ作りも大事で

スピーカー 1

ああそうですね

渋丁はねよくイベントとか誘ってくれるけど

そうね

スピーカー 1

そういうのも大事だなと

スピーカー 2

ポッドキャストイベントにちゃんと出て

ポッドキャスト仲間を作るってのも大事だし

スピーカー 1

いや一年結構出ましたよ

渋丁のおかげで3つ4つね

いやまだまだいっぱいあるから

スピーカー 1

締めは単独イベントでね

スピーカー 2

そうねあそっか

これ出てる時にはチケット締め切りしてますけど

スピーカー 2

前日じゃね

ああ明日イベント?

スピーカー 2

じゃない?多分

スピーカー 1

そんなあれか

スピーカー 2

そういうタイミングじゃないか

スピーカー 1

ああ金曜日だもんね

そうでしょ

スピーカー 1

明日イベントですよ

スピーカー 2

いやあ

スピーカー 1

来る人来る人

スピーカー 2

いいね絶対やっちゃいけないのがさ

インフルエンザにかかるとかね

スピーカー 1

ああやばいな

スピーカー 2

ここからちょっと

スピーカー 1

もう何も言わずに来てほしいもん

スピーカー 2

じゃあ俺たちがね

スピーカー 1

何も

もう俺も何も言わない俺

スピーカー 2

いやそれは良くないよ

主催者側として良くない

何も

スピーカー 2

フラフラ言うな

スピーカー 1

俺はね引きこもってるんで病気かからないですけど

スピーカー 2

そうね俺がちょっと気をつけなきゃいけないよな

いろんなとこ出てくるから

スピーカー 1

そうだね

スピーカー 2

ちょっとそうならないように気をつけます

スピーカー 1

早くリモートで出演してもらいますけど

スピーカー 2

リモートで

そうねやっぱね現地に行かないことには

スピーカー 1

うん

スピーカー 2

あっそうだごめんちょっと結論一個忘れてた

はい

スピーカー 2

えっと

結論

スピーカー 2

まあローカルLLM頑張ってやりましょうと

で大きいモデル作れない使えない人もLLMスタジオでちょっとね8ビリオンとか

ちっちゃいモデルを動かしてみるとモデルのサイズと性能

8ビリオンだとちょっとあれなんだけど

なんとなくこう使い勝手分かるんじゃないかなと思いますと

っていうのとえっとねあえてお勧めするのはクエンのモデルを

API経由で使うこともできるのね

ほう

そんな高くないんだけど

ローカルLLMがもしもあったらという前提で

クエンのモデルをAPI課金してちょっとこの自分

今AIに任せるタスクをそっちに振ってみるみたいな

スピーカー 1

シミュレーションみたいなね

スピーカー 2

そうそう別にクエンじゃなくてもいいけどねその場合はね

もっと安いモデルにだけど近しい性能のやつがAPIで使えるんで

そういうの試してみるといいんじゃないかなと思いますね

スピーカー 1

イメージそうだよな

イメージ湧かないからあんまりやる気せんのだよな

スピーカー 2

実際そのローカルLLMがあったらみたいな前提で

クエンのAPIを動かしてみるのはありだし

クエンはクエンでないクエンコードっていうのがあるのよ

スピーカー 1

クエンコード

スピーカー 2

だからクロードコードとかさ

スピーカー 1

クロードコード

スピーカー 2

コーデックスみたいなやつ

専用のハーネスがついたという仕組みがあって

クエンをクロードコードみたいに使いたいんだったら

クエンコードかあとオープンコード

スピーカー 1

オープンコード聞いたことある

スピーカー 2

オープンコードはクロードコードのオープン版みたいなやつ

でモデルが色々選べるね自由に

クロードとか何でも選べる

スピーカー 2

そう他の中国系のやつも選べると

スピーカー 1

はいはいはい

スピーカー 2

リップシークとかも別に選べるんだけど

クエンコードはクエンに特化してチューニングされてるみたいな

そういうものをちょっと入れて使ってみるっていうのもアリだと思うね

それはちょっと重量課金になるから

ストックというか課金の量は気をつけなければならないけど

スピーカー 1

それでイメージついたらじゃあローカルやってみるか

スピーカー 2

このぐらいの性能のもので

当然APAで使えるモデルと自分のローカルで組みるモデルの性能とか速さっていうのは違ってくるんだけど

なんとなくローカルに落とすっていうのはこういうことかなみたいな

シミュレーションはできると思うからそれで

それはちょっとクエンコード少し触って

スピーカー 2

いい感じでフォールバックしていけないかなっていうのを探ってみようかなと思ってる

って感じかな

スピーカー 1

クエンコード

スピーカー 2

そう

クエンコードもどのくらいの性能かわかんないけど

ちょっとね前言ったけどさ

トークンダイエット話みたいな

スピーカー 1

はいはい

スピーカー 2

トークンレコーディングダイエットしたいぜみたいな話したじゃん

スピーカー 1

なんか言ってたねなんだっけそれトークンレコーディング

なんか記録してどれだけ使ったか

スピーカー 2

そうLLMのトークンを節約するっていうことを

ちょっと突き詰めていかないといけないんじゃないみたいな

スピーカー 1

はいはいはい本当思うわ

スピーカー 2

その過程でちょっとねクエンコードの活用も少し考えてて

この前

スピーカー 1

クエンコード使うといいの

スピーカー 2

結構安いのよクエンコードクエンで

だからその大きい処理をクエンの方に投げちゃうみたいな

大きいというかタスクの部分を分解してクエンの方に投げちゃって

節約するみたいなねこともできんじゃないっていう話ね

スピーカー 1

なるほど

スピーカー 2

意外とこの前クエンのミートアップ行ったときは

使われてないんだけどあんまりAPIで使うのもいいんだよみたいなことを

スピーカー 2

言ってたからありじゃんじゃないかなと思ったね

スピーカー 1

なるほど

スピーカー 2

その節約の一環としてちょっと使ってみようかなっていうのはあるね

スピーカー 1

節約ね

スピーカー 2

どんな節約どっちにしろ追加の出品にはなるんだけど

AI節約罠みたいなのあるよね

スピーカー 1

節約してるつもりでどんどんなんか増えていくみたいな

スピーカー 2

そうクロードコードとコーデックス両方で200ドル課金してるけどさ

交互になくなるもんなやっぱちゃんとゼロになるからさ

ちょっと節約したい

スピーカー 1

200ドルプランだっけ両方

スピーカー 2

両方200ドルプランなんだけど

それであれだね日中仕事しとってそれで全部なくなるの相当使ってるよね

スピーカー 2

そう今週はねそのあれで結構使って

zoom参加できるAIbotみたいなやつを作って

スピーカー 1

あそこを作ってくれたやつね

スピーカー 2

そうあれで結構消費したのと

あと動画の編集が一本あったからそれで結構消費したかな

スピーカー 1

動画編集をさせてる

スピーカー 2

そうねちょっとだけどね動画編集YouTube動画を一本上げたからさ

スピーカー 1

渋長チャンネル

スピーカー 2

そう渋長技術研究チャンネル

スピーカー 1

こんなことやってるね

スピーカー 2

意外とフォローあるよチャンネル登録者7000人くらいいるだよ

私と樋口のチャンネルも

スピーカー 1

7000人

スピーカー 2

1万人を目指しております

スピーカー 1

人気者だね

銀の盾は10万人

スピーカー 2

10万人遠いよね

遠いね

動画滅多に出さんけどね

今回ちょっと動画を出したりした時にちょっと使ったから

スピーカー 1

うんうんなるほどね

近況、登壇、チャイ作り

スピーカー 2

そうあとそう

ちょっと今週静岡県の

スピーカー 1

ああなんかツイートしてたね

スピーカー 2

そう工業技術研究所に

スピーカー 1

貴重講演

スピーカー 2

貴重講演

スピーカー 1

なんかこっついとこでやってるなと思って

そうAIエージェントとはみたいな話をしてきたんだけど

スピーカー 1

ああそういう話をしたんだ

スピーカー 2

そのシリアル作るのにちょっとAI使ったしみたいな

スピーカー 1

結構じゃあAI系の登壇は多いじゃん

スピーカー 2

多いね

スピーカー 1

うん

スピーカー 2

登壇は多いねだけどそのなんか

いやー100万円のPC使ってみたいなそういう話の場じゃなくて

AIってなんぞやみたいな

中小企業の方たちにこう話すって場かなどっちかって言ったら

ものづくりの世界で製造業でやってる

うんものづくり系の人たち

スピーカー 2

そうだね

でもそれもシードル経由で来た話だけどね

スピーカー 1

えーシードル多いね

スピーカー 2

この仕事は静岡県の工業技術研究所の講演は

俺個人で受けたんだけど

スピーカー 2

元々その技術研究所の人と知り合ったのは

シードル経由だったから

それでこうなんか頂いたって感じかな

AIの仕事も増えており落ち着きAIもちゃんと宣伝してきたんで

スピーカー 1

ありがとうございます落ち着きAI

2年目突入ですよ

スピーカー 2

ああそうだ突入しておりますね

スピーカー 1

2年目何するみたいな話を本当にだからイベントでね

ちょっとしたいんだよね

していきましょう

スピーカー 1

お願いします

スピーカー 2

楽しくなってきてどう変化していくかもう爆伸びして

やっぱねポッドキャストなんちゃらアワードみたいなやつね

やっぱ取らないと

スピーカー 1

そうだね

スピーカー 2

ポッドキャストスタジオの博物をつける意味でも

でもこのAIで取れなかったらねなかなか難しいよね

スピーカー 2

そうねでもそれこそ

スピーカー 1

マニアックなテーマが多いから

スピーカー 2

でもながらAIさんとかもねノミネスされてたやつ

スピーカー 1

そうだねあれはあれか一時選考はリスナー投票

スピーカー 2

リスナー投票なのよ

スピーカー 1

人数での数の力か

みんなの力だなこれ

スピーカー 2

いやでも今じゃ難しいな来年はちょっと間に合わないだろうな

再来年

スピーカー 1

何が起こるかわからないところを楽しみに

スピーカー 2

そうね

スピーカー 1

いろいろシリーズ増えてきますから

スピーカー 2

落ち着きシリーズが

落ち着きシリーズ今これ9月末でしょ

スピーカー 1

2個ぐらい始まるんでね

スピーカー 2

すごいねもう世の中落ち着かせようとしてるじゃん

スピーカー 1

もう本当に理念は落ち着きだよね

なんか気づいてみたら

スピーカー 2

もうすごいね落ち着き広がっていくじゃないですか

スピーカー 1

落ち着きクラシックがついに始まるっていうのが

スピーカー 2

始まる始まる作業をずっと俺何ヶ月も傷つけてて

本当吐きそうですねあれはねライセンス管理ね

あと落ち着きのブランディングっていうのが始まるんですよ

スピーカー 2

いいね落ち着き思想としてね落ち着き思想の番組としては誇らしい限りでございますよ

スピーカー 1

でまあそういうのもねいろいろうわーってなって

スピーカー 2

落ち着きサミットね

スピーカー 1

落ち着きサミットやりたいね

スピーカー 2

いいね

スピーカー 1

こんな感じです

ということでちょっと今日そんな感じの結論になりましたけども

スピーカー 2

ちょっとね渋ジョーさんちょっとその情報古いよとか

私もあんまりパソコンローカルエレベのやつ詳しくないんで

間違ってる情報とかあったら補足していただけると

私も勉強になりますので嬉しく思います

あとパソコンはいつでも提供受け付けておりますのでよろしくお願いいたします

スピーカー 1

はは

ねえ

スピーカー 2

はい落ち着きAI古事記でございます

やっぱ物恋していかないとね

スピーカー 1

いや本当大事ですよ本当に物が物のほうが嬉しいんすかでも

ああお金よりってこと

スピーカー 1

金より物をくださいみたいな感じ

スピーカー 2

金でも

結構渋ジョー物の提供多いよね渋ジョーなんかね

スピーカー 2

いや物の提供多いよ多いけど

困るね

でも

スピーカー 1

3Dプリンターいっぱいみたいな

スピーカー 2

3DプリンターはいいよなんかAIボイスデコーダーとかね

スピーカー 1

ああいっぱいね

スピーカー 2

いっぱいあるんだけどさまだあと2件ぐらいレビューするんだけどさ

そうだ

買わないもんどれも売っちゃうとあれだけど

スピーカー 1

そんないっぱい来るんだ

スピーカー 2

うーん来るよ

スピーカー 1

XとかXが多いな

いやあそうだねブログ経由で結構来るね

スピーカー 1

ブログね

スピーカー 2

ありがたい話ですけど

スピーカー 1

いっぱいAIボイスデコーダー

スピーカー 2

来れるならって言ってもらうけど

そんな変わらんよななんであんなハードなすんだろうなみんな

スピーカー 1

うーん

スピーカー 2

っていう

違いないんだハードに

スピーカー 2

ボイスデコーダーだからね

別にマイク拾ってりゃ一緒じゃないすかみたいな

形ぐらいでしょ

スピーカー 2

形とかどこにくっつけるかとあと充電端子

俺ひたすら言ってるけど

タイプBでタイプCで充電できるようにしてやって

オリジナル端子作んじゃねえっていう風に言ってるけど

スピーカー 1

そうだね

薄さを出すためでしょあれ

スピーカー 2

そう薄さを出すためにね

ケーブルの管理の方がめんどくさいから

薄くなった分ケーブル増えてるやんけって思うからね

スピーカー 1

そうだね

はい

スピーカー 2

というところで

本日はこんな深掘り会でございましたけども

普段はですね火曜日には

1週間のAIトピックを振り返る速報会というものもやっておりますし

多分この時点では

ダイジェスト版みたいなやつ

スピーカー 1

落ち着き切り抜き

スピーカー 2

落ち着きAI切り抜きが

スピーカー 1

落ち着きAI切り抜きがね

スピーカー 2

始まってるはずなので

新しい番組として始まってます

スピーカー 2

どちらもぜひともですね2時間も喋ってますから毎回ね

それが切り抜かれてスピーディーに聞ける

ダイジェストで聞けると

スピーカー 1

良いとこをとってます

スピーカー 2

良いとこを聞き

良いとこがあったこの原液も聞くと

一粒で2度美味しい番組になっておりますので

ぜひとも皆さんよろしくお願いいたします

番組発行式ハッシュタグは

シャープ落ち着きAI平仮名で

落ち着きアルファベットでAIです

スピーカー 1

はい番組の感想はxなどSNSで

ハッシュタグをつけて書き込んでください

今回の話良かったな

落ち着いたなという人は

星5のレビューを

スポーティファイアップル

お願いいたします

スピーカー 1

概要欄にリンク貼ってありますので

さっきの切り抜きチャンネルも

スポーティファイアップルで

フォロー星5いただけると

嬉しいです

それではまた一週間

落ち着いて過ごしていきましょう

落ち着き

スピーカー 1

お疲れした

ありがとうございました

スピーカー 1

集中が限界突破してんな

スピーカー 2

寝なくてよかったコーヒー飲んだから

眠くなくなったわ

スピーカー 1

カフェイン効くんだねチャイじゃなくてね

チャイ続けてんの?

スピーカー 1

どうなの?

やっぱりオススメできる?

スピーカー 2

オススメできるけどむずすぎて

最近悩んでる

スピーカー 1

そういう領域に行ったんだ

スピーカー 2

お店で飲むじゃんチャイを

チャイを飲みに行くこともあるんだよ

スピーカー 1

すごいね

スピーカー 2

インターネットで調べると東京駅周辺にも

チャイを出してるお店があって

スピーカー 1

めっちゃありそう

チャイ専門店

スピーカー 2

そうこの前行ったのよ

女子しかいない

やば女子いるんだ

スピーカー 2

そうお姉さまと

本当に若い

本当に若いと言うとお姉さんはいたしてるんだけど

お姉さま方と

女子高生みたいな

スピーカー 1

女子高生とかもハマってる

スピーカー 2

いろいろ中に突然の

全身緑のおじさんが現れて

スピーカー 1

やばいね

スピーカー 2

そこでチャイ飲みながら

全身真緑のパソコン開いてカチカチやってるみたいな

スピーカー 1

それはなんか

自分でもやってる人みたいな感じなのかな

スピーカー 2

何が?

スピーカー 1

そうやって自分でも

自宅で入れちゃってるような人たち

いや違うよ普通にチャイを飲みに来てる

スピーカー 2

すごいオシャレな

カフェだよ

コーヒー専門店いっぱいあるじゃん

スピーカー 1

なんかアサイリのさ

ちょっとオシャレな高いやつ

そういう雰囲気

スピーカー 2

そういう雰囲気

店舗にチャイのスパイスが売っててみたいな

高いんだよねめっちゃね

スピーカー 1

高いんだ

コーヒーより安いのかな

スピーカー 2

いや

種類が多いじゃん

混ぜなきゃいけないものの

シナモンカルダモンとか

ジンジャーとか

いろいろあるじゃん

でそこで飲んだものを

家で再現しようと思ってもなかなかできんくて

ああやっぱそうなんだ

スピーカー 1

温度管理とか難しい

スピーカー 2

多分

紅茶が違うんだろうな

スピーカー 1

ああ

何が難しいの

配合?

もうやるのはただ

お湯入れるだけ

でも何分煮るかとかもさ

スピーカー 1

なるほど時間管理

スピーカー 2

時間管理もそうだし

スピーカー 1

コーヒーは温度とさ時間じゃん

そんな感じ

スピーカー 2

そんな感じであと分量

スピーカー 1

分量

スピーカー 2

だからそのシナモンをさ

砕くのよこれ砕いてグルッこうやってこすってさ

スピーカー 1

やばいな

スピーカー 2

で混ぜるんだけど

何粒入れるとかもあるし

どのぐらい煮出すかもあるし

紅茶もどのぐらい煮出すかもあるじゃん

スピーカー 2

で牛乳を

スピーカー 1

結構一杯飲むのに30分ぐらいかかるの

スピーカー 2

ああ

そうだねやっぱ30分かけたらかけすぎかな

15分とかかなでも

スピーカー 1

ああでもそんなもんで飲めるの

スピーカー 2

どのぐらいさ

砂糖入れるかとかさミルク入れるかもあるし

結構ね

頭使うねなんか

スピーカー 2

そうなんかそのコンビネーションみたいなやつを追求するのが

まあ確かに面白いよ

なんだけどねいまだに

なんかお店で飲んでああうめえなって思ったさ

スタバとかでもチャイあるんだよね

あるんだチャイティーラテみたいな

そうチャイティーラテみたいな

ああいうのと同じ味を出してるんだけどできないよね

スピーカー 1

うーん

むずい

難しいんだね

それ腕なのそれは

素材というより

スピーカー 2

腕なのかファクターが多すぎてわかんないんだよね

腕なのかそのチョイスした

スパイスがそもそも

そんな良くないのか

紅茶が良くない

紅茶が良くないと思うんだよな

スピーカー 1

ベース紅茶は

スピーカー 2

紅茶の煮出し方も

良くないとか

色々あると思うんだよな

なんかまずって

いい自分で作って

きついねそれ

スピーカー 2

冷やしは飲める

スピーカー 1

手出すと沼っぽいな

スピーカー 2

いやでもちょっと面白い

唯一人間らしい営み

スピーカー 1

ねえ

せかせか生きてる中のちょっとの

スピーカー 2

その間に

ホットキャスト撮ってんだけどさ

煮出しながら

スピーカー 1

撮ってんだ

はい

スピーカー 1

ということで

さよなら