1. おちつきAIラジオ
  2. ローカルLLM用のPC、何を買う..
spotify apple_podcasts youtube
2026-10-02 1:45:06

ローカルLLM用のPC、何を買う？RTX 3090か中古M1 MaxかDGX Sparkか(ep.109)

かねりん
かねりん Pro Member
Host
しぶちょー
しぶちょー Gold Member
Co-host

※収録日：2026/09/21

【公式切り抜きチャンネル、はじまりました】

おちつきAIラジオの公式切り抜き「おちつきAI【切り抜き】」を開設しました。1本15分前後で、本編のパートだけを切り出してお届けします。

▼Spotify

https://open.spotify.com/show/1ZDi70pwl9jQaLGD9mIDPq

▼Apple Podcasts

https://podcasts.apple.com/jp/podcast/id6814639855

こちらもフォローと「★5」のレビューで応援してください。


【1周年祭のお知らせ】

初の単独イベント「おちつきAIラジオ 1周年祭 2026」を、2026年10月3日（土）に東京で開催します。


▼「1年後のAI予測」投稿フォーム

イベントに来られない方も、どなたでもご参加いただけます。事前に集めた予測を当日読み上げ、2周年イベントで答え合わせをします！

https://forms.gle/xzgHP9AFfMgEUXGfA


▼1周年記念Tシャツは、まだ買えます

https://ochitsuki-ai.com/e/1st/tee-pod


【トーク内容】

「ローカルLLM（自分のPCで動かすAI）を始めたいけど、何を買えばいいのか」。AI素人のかねりんが、現役AIエンジニアのしぶちょーに聞きます。目標は、いまローカルで定番のQwen3.8-27Bを手元で動かすこと。


CPU・GPU・RAM・VRAMの違いから、モデルを軽くする「量子化」、VRAMに入りきらない分を本体側に回す「CPUオフロード」まで。そのうえで、かねりんの自作PC（RTX 3090・VRAM 24GB＋RAM 128GB）、中古で人気のM1 Max、約100万円のDGX Sparkを比べます。結論は「大事なのはVRAM」と「買う前に、小さいモデルとQwenのAPIで試してみる」。


後半は、電気代とマイニングの思い出、MacからWindowsへの乗り換えと水冷PC、睡眠の話、しぶちょーの近況まで。



【目次】

オープニング／今日はローカルLLMを動かすPCの話

本命モデルはQwen3.8-27B／脱線：R32 GT-Rの車検代

PCはレンタルしたい？なぜローカルで動かすのか

PCの基礎：CPU・GPU・RAM・VRAM。足りない分はCPUオフロード

かねりんのPCはRTX 3090＋RAM 128GB。量子化で軽くする

Appleの統合メモリ：中古のM1 Maxが熱い

本命はDGX Spark、約100万円。AI発信者の背景には必須？

ローカルの電気代とマイニング／まずはLM Studioで

MacからWindowsへ：メモリ不足と自作PC・水冷

ゲームする時間がない／睡眠と健康、ショートスリーパーは本当か

話を戻して：まとめはVRAMが大事

結論：小さいモデルとQwenのAPIで試す／Qwen Code

しぶちょーの近況：YouTubeと登壇

エンディング

アフタートーク



【今回の放送回に関連するリンク】




【今回の要チェックキーワード】

Qwen（クウェン）：Alibabaが開発するAIモデルのシリーズ。手元のPCで動かせる公開版もある。今回の主役はQwen3.8-27B。

ローカルLLM：外部のサーバーではなく、自分のPCでLLMを動かす方法。オフラインで使え、データを外へ送らずに済む。

CPU：PC全体の処理を受け持つ汎用の計算装置。LLMも動かせるが、速さを求めるならGPUを使う。

GPU：似た計算を大量にまとめて速く処理する装置。LLMの計算と相性がよく、生成の速さを左右する。

RAM：CPUが作業中のデータを置くメモリ。OSやアプリ、モデル、計算途中のデータが置かれる。

VRAM：GPU専用の高速なメモリ。何GBあるかで、動かせるモデルの大きさがほぼ決まる。

メモリ帯域幅：メモリから1秒間に運べるデータの量。容量が作業台の広さなら、帯域幅は運ぶ速さ。

SSD：モデルやアプリを保存しておく場所。容量が大きくても、RAMやVRAMの代わりにはならない。

27B：Bは10億（Billion）。約270億個のパラメータを持つという意味で、27GBという容量ではない。

パラメータ／重み：AIが学習で調整した大量の数値。モデルの中身そのもので、この数が27Bのような表記になる。

量子化：数値を少ないビット数で表してモデルを軽くする技術。27Bを16ビットから4ビットにすると重みは約54GBから約13.5GBに。

KVキャッシュ：すでに計算した文脈の情報を取っておく場所。会話や資料が長いほどメモリを使う。

CPUオフロード：VRAMに入りきらない分を本体のRAMに置き、CPUも使って動かす方法。動くが、GPUだけより遅い。

ユニファイドメモリ：CPUとGPUが同じメモリを共有する仕組み。Apple Siliconなどが採用し、大容量をGPUからも使える。

DGX Spark：NVIDIAの小型AI開発機。Arm CPUとBlackwell世代GPU、128GBの共有メモリを1台にまとめている。

tok/s（トークン毎秒）：AIが1秒に何トークン生成できるかを示す速度の指標。大きいほど文字が速く出る。

LM Studio：ローカルLLMを画面の操作で探し、ダウンロードして、そのまま会話できるアプリ。入門の入口に向く。





—----------------------------

【番組の概要】

日々のAIトピックを、現役のAIエンジニアがやさしく解説する対談番組。AIニュースに驚き疲れたあなたに、おちつきを提供します。AIニュースの、驚くポイント、驚かなくても良いポイントがわかります。


★ご感想やコメントは、番組公式ハッシュタグをつけてX（旧Twitter）でポストしていただけるとありがたいです。


【番組公式Webサイト】※お便りはこちら

https://ochitsuki-ai.com/


【公式ツール】

・おちつきAI RAG

https://ochitsuki-airag.com/


【番組公式ハッシュタグ】

#おちつきAI


【番組公式X】

https://x.com/ochitsuki_AI


【コミュニティの案内】
実践型の有料コミュニティで、みんなでAIを触っておちつこう！
https://rooom.listen.style/p/ochitsuki-ai?tab=membership⁠




【パーソナリティ(MC)】

▼しぶちょー

・AIエンジニア

・技術士(機械部門)

「大手機械メーカーでAI開発の最前線を担う現役エンジニア。AI（ディープラーニング）の実装スキルを証明する「E資格」を保有。機械（ハードウェア）への高度な知見も有し、双方の専門性を掛け合わせ『AIの社会実装』に貢献する。情報発信活動にも精力的に取り組み、ブログ・音声配信(Podcast/Voicy)・SNSなどで幅広く活躍。単なる技術解説でなく、行動変容を伴う情報発信を信条とする。その姿勢が評価され、2025年UJA科学広報賞 審査員特別賞を受賞。著書に『集まれ設計１年生 はじめての締結設計』（日刊工業新聞社）。岐阜県テクノプラザものづくり支援センター広報大使、生成AI EXPO in 東海 共同代表も務める。」

https://x.com/sibucho_labo

https://voicy.jp/channel/3963


▼金田勇太（かねりん）

・KANERIN Podcast Studios 代表

・一般社団法人 地方WEB3連携協会 理事

「刑事司法実務の最前線で多数の犯罪捜査を指揮。2017年から暗号資産業界へ参入。数々のグローバルプロジェクトに参画しコンサルティング、情報分析・アドバイザリー業務を提供。コンサートライブ配信業、音声配信業、テックメディア創業等を経て、ポッドキャストレーベル兼プロダクション「KANERIN Podcast Studios」を創業。多様なパートナーと共に、未来へつなぐ声の原典を共創している。」

https://x.com/kanerinx

https://voicy.jp/channel/2534



【制作】

番組演出（トーク・BGM・効果音）：Aviv Haruta

カバーアートデザイン：UTA

プロデューサー：金田勇太（かねりん）

制作：KANERIN Podcast Studios

著作：株式会社KANERIN

https://kanerin.co.jp

Reviews

No reviews yet. Be the first to write a review!

Summary

ローカルLLMを日常的に動かすPC選びについて、しぶちょーがCPU・GPU・RAM・VRAMの役割から解説する。目標としてQwen3.8-27Bを挙げ、量子化やCPUオフロードを使っても、モデルを高速に動かすにはVRAM容量が特に重要だと説明する。候補として、RTX 3090とRAM 128GBの自作PC、中古の128GB M1 Max、約100万円のDGX Sparkを比較し、性能・価格・速度の違いを話す。ローカル運用にはコストや情報を外部に送らない安心感がある一方、電気代や発熱も無視できず、LM Studioが初心者向けの入口になるという。結論として、いきなり高価な機材を買うのではなく、小型モデルやQwenのAPI、Qwen Codeを試してから導入を判断することを勧める。後半はMacとWindowsの使い分け、水冷PC、ゲームをする時間のなさ、睡眠不足と健康、しぶちょーの動画・講演活動にも話題が広がる。睡眠については、短時間睡眠を無理に信じず、十分に寝ることが大切だという話になる。最後に、番組の今後やAI発信、チャイ作りの難しさについて雑談する。

ローカルLLMに必要なPCとQwen3.8-27B
Speaker 2
おちつきAI
Speaker 1
AIエンジニアのしぶちょーです。 AI素人のかねりんです。
この番組は日々のAIニュースで驚き疲れたあなたに、 ゆっくりじっくりAIを学んで落ち着いていただくビデオポッドキャストです。
Speaker 2
はい、ということで始まりました。 おちつきAIラジオ深掘り会でございます。
一つのテーマについてゆっくりじっくりと深掘りしていきましょうという感じでございますね。
そうですね。
じゃあ早速本題に入っていきましょう。
今日のテーマはこちら。
ローカルLLMを日常活用するために必要なPCってどんなん?でございます。
Speaker 1
うんうんうん。
Speaker 2
今まで結構ローカルLLMの話をしてきてはいたんですけど、
具体的なハードウェアというか、そもそもローカルLLMを動かすのにどういうハードいるの?みたいな話をあまりしてこなかったので、
はいはいはい。
スペックってどういう風なものがあって。
Speaker 1
パソコンの話ですか?
Speaker 2
パソコンの話。
Speaker 1
高いよね。
Speaker 2
そう、高いよねっていう話をしていきたいなと思います。
Speaker 1
ガジェット紹介会。
Speaker 2
いや、そんな具体のガジェットを紹介するわけじゃないんだけど、
パソコンの何の性能がローカルLLMを動かす時にいるの?みたいな話。
Speaker 1
はいはいはい。
Speaker 2
ちょっと色々調べてきたので、していきたいと思いますが、
私は別にローカルLLMを、LLMが言えないな。LLMをガッツリ動かしてる人間ではないので。
Speaker 1
あ、そう?
Speaker 2
別に活用してないからね正直。
あ、そうか。
Speaker 2
そう。なのでちょっと実体験というよりは調べてきたことの話になるんだけども。
Speaker 1
LLM-er。
Speaker 2
LLM-erじゃないのよ。ローカルLLM-erじゃないのよ。
Speaker 1
そうかそうか。
Speaker 2
かなり私もクラウドLLM-erでしょ?
Speaker 1
そうだね。ちょっと使ってるけどね、なんかねちょっとしたやつ。
Speaker 2
ローカル?
Speaker 1
なんかわかんない。文字起こしってやつ。ウィスパーとか。
Speaker 2
あーまあまあまあ。
Speaker 1
ウィスパーはローカルなんですか?
Speaker 2
ウィスパーはローカルだね。LLMじゃないけどね。
Speaker 1
LLMじゃないんだ。
じゃあLLMは使ってないっすね。
Speaker 2
そうです。ウィスパーはローカルで動くAIで文字起こしAIでございますから。
LLMではございませんけども。
普通にChatGPTとかさ、クロードみたいなやつね。
がローカルで動かせますよっていうのがローカルLLMだと思っていただければいいかなと思うんですけど。
Speaker 1
マシンがなくて使えてないイメージ。
Speaker 2
そう。じゃあ実用足りるぐらいのレベルのいわゆるオープンウェイトのローカルLLMを
自分の家で動かしたいと思ったら
何がいるんだみたいな話を今日はしていきますと。
Speaker 1
具体的にね。
Speaker 2
そう。
Speaker 1
100万円ぐらいのパソコンがいるんでしょう?ぐらいしか知らないんだよね。
Speaker 2
まあね、いるんだけど最安値で言ったらたぶん2、30万でいけるんじゃないかなみたいなところもある。
Speaker 1
あ、そうなんだ。
Speaker 2
ただちょっとこれは色々難しいんだけど。
そう。色々難しいのよっていう話も含めて。
ちょっと今日はローカルLLMってそういうスペックいるんだねぐらいの。
私もちょっと勉強中なんでね。
そういう流度で皆さんと理解を深めていく回でございますけどもよろしくお願いします。
Speaker 1
使ってみたい人はじゃあ参考にして買ってください。
そう。参考にして買ったりとか、
Speaker 2
あ、しぶちょーさんそんなローカルやりたいんだったら差し上げますよみたいなのも全然受け付けておりますから。
Speaker 1
裏テーマね。
Speaker 2
裏テーマ。
か、この前さ。
Speaker 1
お、来た。
ん?
Speaker 2
何が?
Speaker 1
スポンサーか?スポンサーか?
Speaker 2
違う違う違う違う違う。
そういう話じゃないです全然。
Speaker 1
視聴者の人にプレゼントかと思ったよ。
Speaker 2
違う違う違う違う。
この前唐揚げ先生と話、ゲストにさ、自分のポッツゲスト来てもらって話したんだけどさ。
Speaker 1
お、はい。
Speaker 2
やっぱなんか。
AIの番組やってて、
ローカルLLM動かしてないとちょっとダメですよみたいな。
Speaker 1
言われた?
Speaker 2
そう。言ってたから。
Speaker 1
おー。
Speaker 2
だからねやっぱポッドキャストに、AIのポッドキャストには必需品だと。
あーうんそうなの?
Speaker 2
うん。ということは、
AIの番組やってるからローカル動かしてますよねと。
Speaker 1
うんうん。
ポッドキャストに必需品ということは、
Speaker 2
これポッドキャストの設備になるわけですよね。
Speaker 1
どういうこと?何を言ったらいいの?ちょっと怖いんですけど。
あんまこっち見ないでください。
ここ先はこっち向いてるの?なんか。
Speaker 2
ポッドキャスト、だからカネリンが収録機器とかマイクとか持ってるのと同じように、
ポッドキャスト収録、だからAIのポッドキャスト収録に必要なのがローカルLLMという話になってくると、
やっぱカネリンさんにちょっと買っていただいた方がいいんじゃないかなっていう話を、
唐揚げ先生としましたね。
Speaker 1
何それ。
Speaker 2
音声編集ソフト、高いのありますとか、マイクとかね、スタッフ陣いるじゃないですか。
ローカルLLM用のPCの。
これもやっぱポッドキャストグッズなんで。
Speaker 1
ちょっと待って、でもそんな活用できるってこと?
Speaker 2
いやだから、AIの番組をやってるのにローカルLLMを構築していないという、
Speaker 1
ただその1点。
Speaker 2
そのストーリーだけ。
Speaker 1
いいよ、なんかすげえ活用できるとかじゃないんだよ。
Speaker 2
いや活用はできると思うよ。
Speaker 1
多分イメージが分からないんだよな。イメージはあったらワンチャンあるよね。
Speaker 2
一応今回これを入れるためにはどうしたらいいかっていう1個テーマを持って、
テーマというか具体的にこのモデルいいよねっていうのを持ってきたんだけど、
一番界隈でこれだよねって言われてるモデルがあって、ローカルLLMといえば、
それがクエンの3.8の27ビリオン。
Speaker 1
こないだちょっと話に出たやつだね。
Speaker 2
そう、クエン。
Speaker 1
中国のやつだね。
Speaker 2
そう、中国のやつです。アリババという会社が作っているクエンというモデルがあるんだけど、
オープンエイトですごく有名なんだけど、クエンの3.8の27ビリオンっていうモデルが、
結構やっぱりローカルを運用する人にとっては、いやこれですよねみたいな。
Speaker 2
これがいいんですわみたいな。ちょうどいいと。
何がちょうどいいかっていうと、
研究所レベルの大規模なサーバーを用意しなくても、
個人PCで検討できるぐらいのギリギリのサイズかつ、
性能としては、多分そのオーパスよりはいかないけどソネットぐらいはあるよねみたいな。
Speaker 1
ソネットまで来ちゃう。
Speaker 2
ぐらいはあるんじゃないかみたいな。
うーん。
なのにローカルでガンガン動くみたいな。
Speaker 1
個人PCレベルギリ?
Speaker 2
個人PCじゃない。個人で買うことができるPC。
非常に重要ですよ。個人PCと個人で買うことができるPCの間には、
無限の差があるので。
Speaker 1
そうだよね。ワンチャン今うちのPCでできるの?とか思っちゃったよ。
Speaker 2
個人で買うことができるPCっていうのは、個人の資産で手が届くという意味合いになってくるから。
Speaker 1
どれぐらいなんすかそれって。
Speaker 2
個人で、車とかみんな買えるじゃん。
だからそのぐらいの感覚。
車の代わりにこれを買おうみたいな。
Speaker 2
買おうみたいなね。っていうぐらいの。
Speaker 1
支部長、車売ってこれ買わなきゃいけないんじゃないの。
Speaker 2
いや、そんな本当にさ、支部長さん、ローカルLNM買うためにPC買いましょうよとかって気軽に言ってくるんだけどさ、
金がないんですよ本当に。
あの、マジで。金かかることがいっぱいあってね。
Speaker 1
うん。
Speaker 2
車が趣味なんですよ。
Speaker 1
あー、そうだよね。
なんか車自分で修理したりしてるんでしょ?なんか。
Speaker 2
そう、かつてはね。最近はちょっと時間がないし、放置気味なんだけど。
車検だったんですよ、今年も。
Speaker 1
車検自分でやんの?
Speaker 2
いや、車検はね、ショップにお願いしてる。
俺の車特殊すぎて、ディーラーとか出せないから。
Speaker 1
え、めっちゃ古いやつ?
Speaker 2
古い。
Speaker 1
やばー。
Speaker 2
R32GT-Rっていうですね。
この間一個見たよね?
Speaker 2
あ、そう。この間見せたのはホンダのビートなんだよ。
Speaker 1
うんうんうん。
Speaker 2
ホンダのビートももう30年前ぐらいの車なんだけど。
Speaker 1
すごいよな。エアコンもなかったよ。
Speaker 2
もう一台持ってるR32GT-Rっていう車があるんだけど。
Speaker 1
そっちがメイン?
Speaker 2
そっちがメインというか、一番やっぱ好きな方だね。
Speaker 1
好きなんだ。
Speaker 2
高いよ。
高いの?
普通に今売ったら、買おうと思ったらさ、多分600万とか700万じゃ買えないと思う。
Speaker 1
やばすぎ。
Speaker 2
めっちゃ高いよ。
Speaker 1
すぐに売って、どでかいコンピューター買ったら。
Speaker 2
いやいや、そんなにこれ乗るから。乗っていくために今維持してんだけど。
結局、今年も車検出したら、ちょっと不具合が見つかりましてね。
Speaker 1
そんな古い車なんか、不具合めっちゃ出そう。
Speaker 2
めっちゃ出るのよ。不具合は出るのに部品が出ないから、高いんだ部品が一個一個。
Speaker 1
うん。外車?
Speaker 2
日本車だよ。日産です。
Speaker 1
日本車なんだ。
Speaker 2
日本車だけど、もう30年以上前の車で、そう名車なんだけど、やっぱ部品が出ないんですよ、R32とはいえ。
Speaker 1
ちょっと待って、検索したいんだけど、R32?
Speaker 2
R32 GT-Rって検索すれば。
Speaker 1
GT-Rですか。これはもう何、車好きな人はみんな知ってますよね。
Speaker 2
みんな知ってます。
Speaker 1
こわ。
Speaker 2
スカイラインの。
Speaker 1
こわいな。
Speaker 2
GT-Rが復活したという。
Speaker 1
渋いです。
なんか昔この車のおもちゃ持ってた気がする。
Speaker 2
そうだよ、結構ね、名車だよ、ほんとに。めちゃくちゃ人気。
Speaker 1
なんかゲームとかにも出てきてそう。
Speaker 2
出てくる出てくる。グランツールとか出てくる。
Speaker 1
よかった、なんかよくジンピラが生きてるアメ車みたいなやつじゃなくてよかった。
Speaker 2
じゃない、もうかっこいいスポーツカーだけど。
これをね、維持するのにすごくお金がかかるわけですよ。
もう今まですごいお金をかけてきたんだけども。
今年も車検で、あ、渋ジョーさんと。
一発死んでますねと。
6気筒なんですよね。
6気筒って言って6個爆破する部分があるんだけど、
1気筒死んでると。
Speaker 2
エンジン?
エンジン、そう。
1個死んでて5発で走ってますと。
1個復活させるためにスパークプラグと、
あとコイルとかを全部変えなければならないと。
めっちゃお金かかりますよと。
どうしようみたいな。
Speaker 1
で、どれくらいかかんの?
Speaker 2
いやーちょっとね、まだわかんないって言われた。
Speaker 1
100万円くらい?
Speaker 2
そんなかかんない。
けど車検代は10万くらいかかるじゃん普通に。
それプラス20万くらいかかってくるのよ。
Speaker 1
こわ。
Speaker 2
こわこわ。
で、まだね、まだまだこのエンジンのタンク、
ガソリンタンクも樹脂だから、それも割れてきますよと。
それ変えたら100万円コースだったりとか、すごいのよもう。
すごいね。
Speaker 2
あらゆるとこが壊れると。
Speaker 1
すげー乗り方してんの?
Speaker 2
普通に乗ってるだけで壊れてくのよ。
Speaker 1
うーん、もう古いからってこと?そもそも。
Speaker 2
そうだね、まあ人間に例えたら80歳のおじいちゃんに全力疾走させてるようなもんだからさ。
Speaker 1
なんかもうほんとスパルタだよね、支部長って。
Speaker 2
そう、なんかもうあらゆるところから崩壊してる。
Speaker 1
AIにも、車には優しそうだね。
AIにはパワハラするけど。
Speaker 2
丁寧に丁寧に。
Speaker 1
車よしよししてそう。
Speaker 2
物理的なね、ものがあるから。
物理的なね、やっぱね。
車をね、ムチ打つとね、自分に返ってくるんだよ、お金として。
Speaker 1
しっぺ返しが。
Speaker 2
しっぺ返しが、普通にね、メンテナンスがサボるとね。
っていうので、お金がかかるから。
Speaker 2
いつもね、今振り返ると、この金額あったらパソコン変えんなとか思うんだけど。
Speaker 1
普通に変えそうだよ。
ローカル、あ、この車売ったらDGXパーク、後で説明するけど、
Speaker 2
いいパソコンいっぱい買えるなと思いながらも、やっぱ物理ですよね。
メーカー。
占いですね。
Speaker 1
パソコンも物理だよ。
Speaker 2
パソコンも物理だよ。
Speaker 1
走るパソコンにしたらもう。
Speaker 2
タイヤが付いてないとやっぱね、機械とは言えないから。
移動しないとやっぱ。
Speaker 1
そっか。
車にAIくっつけるみたいなことやってみたらいいじゃん。
車にAIね、結構相性悪いんだよな。
Speaker 1
悪いんだ。
Speaker 2
ネット。
Speaker 1
熱い?
Speaker 2
そう、熱も持つし。
そういう人もいるけどね。
なんかこう、GPS付けてトラッキングするみたいな。
Speaker 1
車とAIは真逆みたいな感じなのかな。
Speaker 2
真逆でもないけど、昔の車だとね、なかなか難しいね。
いろいろセンサーとか付けれるんだけどね、やると思えば。
はい、ということでちょっと話を戻しますけど。
そうなんでちょっとパソコン買えないんですけど。
Speaker 1
なるほど、車があるからね。
でもカネリンがね、ポッドキャストスタジオ用の機材として、
Speaker 2
ローカルLLM最高だぜっていう風に。
Speaker 1
AI会話なんてさ、買って半年でなんか古いですねみたいになっちゃうじゃん。
レンタルしたいよね。ないんすかね、レンタル。
Speaker 2
あー、レンタルね。
買いたくないよね、もう。
Speaker 2
だからさ、そうそう、無期限レンタルみたいなね。
あるよ、ある。
Speaker 1
あるんだ。
Speaker 2
スポンサーとしてもらってみたいな、無期限に貸しますみたいな。
Speaker 1
そういうのね。
渋調なんてそんなのいっぱいありそうなのね。
3Dプリンターかのごとくなんか。
Speaker 2
3Dプリンターはみんなくれるんだけどね。
パソコンくれないんだ。
Speaker 2
AI系の発信足りてないのかな。
支部長としてAI系の発信してないからさ、SNSでは。
あ、そうか。もうちょっとAIに重心置いたら?
Speaker 2
そうなんだよね。
Speaker 1
落ち着きAIももっとバーンっていかないと。
Speaker 2
そうなんだよね。だからこういうソフト作りました。
意外とやっぱメカの話ばっかだから。
Speaker 1
Xとかもそうだよね、結構。
物作りの人文脈強いよね。
AIの話しても誰も食いつかんのよ。
Speaker 2
びっくりするぐらいね、エンゲージメント低いから。
Speaker 1
やっぱりフォロワーの。
Speaker 2
フォロワーの種類がさ、AIじゃないんだよねみんなね。
Speaker 1
そっかそっか。
Speaker 2
まあでもいいけどね、別にそこを狙ってるわけじゃないから。
なんで、でもちょっとそういうとこで。
AIエンジニアもちょっとせめて。
アピールして。
Speaker 1
マシンをもらおうの回ですかね。
Speaker 2
でもマシンをもらおうとしてる人には多分くれないんだろうな。
Speaker 1
そうか。
自分でガチガチやってる人じゃない。
Speaker 2
今ある環境でこんだけやりましたみたいな。
こいつにPC渡せばすげえことできるんじゃねえかみたいな。
なんかその、ああいいパソコンあったらこういうことができるのにみたいなこと言ってる人に。
なんか渡したくないよね。
Speaker 1
そうだね。
Speaker 2
今あるもので渡して、あ、こいつに限界突破してもらえばすごいことができるんじゃないかっていう風な期待感を。
Speaker 1
それはそうだ。
Speaker 2
持たせないといけないんじゃないかなと。
俺はもうちょっと今パソコンでできる馬鹿なモデルでどこまでできるかってことをやらなきゃいけないんじゃないかなと。
思うんだけども。
Speaker 1
結構いっぱいあるもんね。
Speaker 2
そういうものは思うんだけど、ただ現実問題、いわゆるフロンティアモデルに近い性能を出すようなモデル。
フロンティアモデルはフェーブルとか?
Speaker 2
フェーブルとかアンソロピックのモデルとかね。
クロードとか、JetGPT全般を表す言葉なんだけど。
うん、なるほど。
Speaker 2
ああいう本当に小っちゃいモデルじゃなくて、ある程度動くよねっていうモデルの中で一番使いやすいと言われているのがクエンド3.8の27ビリオン。
Speaker 1
なるほど。
Speaker 2
みんなここいいよねっていう風に言ってるので、
じゃあこれを動かせるためのパソコンどのぐらいのものを用意しなければならないのかという話を、
ローカルLMに必要なスペックとともに学んでいこうという、そういう話でございます。
Speaker 1
はい、ちょっとワンチャン何とかしたいな。
Speaker 2
そうね。
まずクエンとはなんぞやという話。さっきも言ったけど、アリバマっていう会社が開発しているAIモデルと。
で、クエン自体は2023年から運用が始まっているんですけども。
クエン2、クエン2.5と進化してきて、最近今年だよね。クエンの3.8、27ビリオンっていうのが8月ぐらいかなに公開されましたと。
結構コミュニティ盛り上がっててクエン。この前クエンのイベント行ったのよ実は。
Speaker 1
あら、ちゃんとしっかり潜入してんじゃん。
Speaker 2
そう、クエンのジャパンミートアップみたいなやつに統計されてたから、すげー頑張って行ってきて。
その次の日、メーカーフェアっていう展示会あったんだけど、その前の日にちょっと乗り込んで行きました。
Speaker 1
あのイベントの前に行ってたんだ。
Speaker 2
面白かったよ。
Speaker 1
日本語通じんの?
Speaker 2
もちろん、基本的には日本人ばっか。
Speaker 1
誰でも参加できるんすかそれ。
Speaker 2
うん、できるよ。
Speaker 1
行けば参加できるんだ。
Speaker 2
参加できるけど、ちょっとねさすがに本当はその後クエン、アリバマの人とかもいたから交流したかったんだけど、
次の日の展示会の準備があったから、交流会はさっさとちょっと抜けてきちゃったんだけど、
でもその中でやっぱクエンのこの3.8の27ビリオンなんですわ、やっぱ一番いいのはみたいな。
ローカルで動かす理由とコスト
Speaker 2
これをどう使いこなそうみたいなね、話すごく盛り上がってました。
みんななんでローカルLNMを構築したいかというと、コストダウンです。
Speaker 1
やっぱそこなのね。
ローカルで回せれば電気代だけでいけるってことだよね。
そう。
Speaker 2
今までやってたタスクをなんとか分解して、クエンに触れる部分はクエンに触らせるみたいな。
Speaker 1
はいはいはい。
Speaker 2
っていう使い方ができればすごくいいよねと。
Speaker 1
こないだのジェブみたいなもんで、分解できないとそもそもダメだね。
Speaker 2
そうそうそうそう。
どこをローカルにすんのかって。
Speaker 2
これはちょっとね、安いモデルもいいよねみたいな。
コンビニF1かでコンビニ行ってませんよねみたいな。
でもさ、じゃああれだね。
Speaker 1
いくらコストダウンできるのか計算してすれば100万円も安いかもって話だよね。
Speaker 2
そうだね。ただ。
Speaker 1
100万円安いって言うようなことないよな。
Speaker 2
ただ。
Speaker 1
月3万円で結構使えるんだ。
結局それ何と比較するかっていうと、今だとカネリンの場合はクロードの課金とオープンAIの課金でトークンで計算することになるじゃん。
Speaker 1
トークンでそうだね。
Speaker 2
そうそう。
例えばローカルLMでトークンを節約できたとしても、シュッピって減らないんだよね。アウトプットは増えるんだけどAIによる。
だから今まで使ってた分、クエンに投げて、ローカルで処理できる分、また新たにクロードコードとコーデックスが使える、枠が増えるわけじゃん。
はいはい。また何かやるんだろうな。
金額的なメリットが、普通そのAPI課金で使ってる人たちからすらあるんだけど、カネリンの構成だと多分出てこない。
Speaker 1
その月額サブスクだからね。
Speaker 2
そうそう。値段って感じでは出てこないんだけど。
Speaker 1
めっちゃ減ったら片方切るとかあるかもしれないけど。
そうだね。そういうことはできると思う。
Speaker 2
なんでそもそもローカルLLMを頑張ってやろうっていう人たちは、まずローカルで動くから安いよねと。安いとか値段が気にならないのと、ローカルで処理できるからセキュリティ面も安心。送ってないからね。
Speaker 1
だからそういうサービスやっててAPI繋いでる人とかが、APIじゃなくてローカルのこっちで回そうみたいな、そういう使い方するってこと?
Speaker 2
いや基本的には自分の処理だと思うよ。
自分用?
うん。なんかウェブサービスを提供していて、自分のローカルだけで全部処理してやるのは無理だと思うから。
Speaker 1
うんうん。
なんか数人しか使わないよっていうサービスだったらいいんだけど。
Speaker 1
なるほど。
Speaker 2
アクセスがバーって入ってきたら、多分全然処理しきれないと思うから。
基本的には自分のタスクをやらせるっていうところで、いろいろ使えるといいんじゃないかなって感じかな。
Speaker 1
それじゃあ割とみんなもAPIじゃなくて、サブスクの範囲のやつの話じゃないの?みんな。
Speaker 2
ん?みんなって、カネリンと一緒ってこと?
Speaker 1
うん。MAX200ドルプランの中でやってるから、金額的には別に減らない人が多い?
Speaker 2
企業納入の場合はちょっと変わってくるね。
Speaker 1
おお。
Speaker 2
企業でクロードコードとか使ってる時に多分API課金でやってる人も多いから、会社が。
Speaker 1
うん。なるほどね。
Speaker 2
そこでローカルをちょっと使いましょうみたいな話も、クエンのミートアップではあったね。
個人でやってる人たちは、節約というよりはどっちかって言ったら、わざわざローカルを構築してるってことは実験的な意味で構築してる人の方が多いから、テックな部分の話だと思うけど。
でもやっぱそのこの前フェイブルが輸出停止になったみたいなこともあるじゃん。
ああいう感じで障害があったりとか、政治的なところでAIが使えなくなる可能性もあるから。
やっぱこうローカルで運用する術を身につけとくっていうのは大事だよねという話はある。
なるほどね。
Speaker 2
っていうところでローカルいろいろなメリットがあるし、今後やっぱりよりタスク特化していったりとか、大きいモデルじゃなくて、
もしもフロンティアモデルの性能アップを一回ちょっと減速しましょうみたいな話あったじゃん。
Speaker 2
あの後なんかまたアンソロピックが新しいモデル今開発中ですみたいな感じで、どんだけニマイジだなんだみたいな話もあったんだけど。
Speaker 1
そんな話だったっけ?
Speaker 2
その話は言ってないけど。
またやってるんだ。
そうそう、そういう噂があって。
Speaker 2
でもお前減速しようって言ってたのに、え?みたいな、そういう雰囲気になってて。
なるほど。
はあるんだけど、まあまあそれでもやっぱこうね、ローカルが今後活用していくことがどんどん多くなるかなって思うから、
今のうちローカルやっといた方がいいよぞという感じでございますね。
Speaker 1
このさ、クエンの一番大きいのが何だっけ、20何とかビリオン?
Speaker 2
いや、もっと大きいのあるのよ。
あー。
えーとね、95ビリオンがある。
Speaker 1
95ビリオン?
Speaker 2
クエン3.8。
Speaker 1
今言ってたのが?
Speaker 2
2.4Tっていうね。
Speaker 1
2.4T。これサイズ違いでいろいろあるよね。
Speaker 2
ある。
Speaker 1
8ビリオンとか。
8ビリオンもあるよ。
ゴミ?これ。
Speaker 2
ゴミではないけど、やっぱ一番、なんかそう、8ビリオンだったら多分今のパソコンにも入るのよ。
Speaker 1
うんうん、なんか今入りそうだなと思って。
Speaker 2
やっぱねその、実用に対売りそうだなっていうレベルが27ビリオン。
Speaker 1
うんうん。
Speaker 2
8ビリオンぐらいだとなんかファインチューニングして遊んでやろうみたいな感じになるんだけど。
Speaker 1
うんうん。
Speaker 2
27ビリオン、270億パラメータだね、27ビリオンってことは。
そのぐらいじゃないと。
Speaker 1
27ビリオン。
Speaker 2
そう、27ビリオン。だから今日はクエンの3.8、27ビリオンが動けば、なんかちょっとできるねみたいな感じになるっぽい。
Speaker 1
うんうん。
性能的にね。
Speaker 2
性能的に。
Speaker 1
分かりました。
CPU・GPU・RAM・VRAMの基礎
はい、じゃあこの27ビリオン、まずじゃあこいつが動くようなもの。
Speaker 2
どういうPCになるんだという話ですけど。
はい、ありがとうございます。
えーとその前に。
Speaker 1
その前に。
その前にですね。
Speaker 2
えーと、まあパソコンのスペックを学びましょうみたいな話ね。
ちょっと用語がいっぱい出てくるんで、前もって解説しておくと。
まずCPUですね。
CPUは分かるよね。
Speaker 1
うん、脳みそね。
Speaker 2
脳みそです、はい。
GPUね。
出た。
Speaker 2
これも分かるね。
Speaker 1
なんかあれだね、画像を描写するやつ。
Speaker 2
そう、画像を描写するやつですね。並列計算というのが得意だ。
そういう処理のユニットでございます。
Speaker 1
よくゲーミングPCにやってるやつ。
Speaker 2
そう、ゲーミングPCならもうGPUが欠かせないと。
GPUといえばNVIDIAと。
っていうのがありますと。
まあCPU、GPUはね、なんとなく分かると思います。
あとはRAMですね。
Speaker 1
RAM。
Speaker 2
メモリーです。
Speaker 1
メモリー。
Speaker 2
はい。
もう一個VRAM。
これだよな、ポイント。
Speaker 2
ビデオラム。
これが結構ポイントね。
Speaker 1
これはGPU的なとこにひっついてるRAM?
Speaker 2
そう。
Speaker 1
メモリー?
GPUのメモリーみたいなもんだね、VRAM。
Speaker 1
はいはいはい。
ここのサイズが大きいと、なんかでかいモデル詰めるというイメージです。
Speaker 2
ああ、その通りです。
Speaker 1
ちょっとあんまりよく分かってないんだけど。
Speaker 2
いや、本当にまさにその通りで。
VRAMの大きさがかなり重要になってくると。
Speaker 1
もうなんかグラフィックボードにメモリーさせたいもんな。
なんか使えないの?このメモリーみたいな。
なんかメモリーはでかいじゃん。でかいのよ。
Speaker 2
うん。
Speaker 1
でもなんかグラフィックボードのVRAMは小さくてさ。
Speaker 2
そうそうそうそう。
Speaker 1
なにこれって。
Speaker 2
ここら辺もね、結構いろいろな技術があるのよ。
Speaker 1
うん。
Speaker 2
だからね、ここもね、いろいろ考えようはあるんだけど。
Speaker 1
これが高いんだよね、このVRAMのでっかいグラフィックボードが。
うん。まさにその通りです。
Speaker 1
1個、こんなどでかい戦艦みたいなの、プラモデルみたいなの、やつでしょ。
Speaker 2
買わなければならない。
Speaker 1
オチアイさんがなんか炎出てたじゃん。
ああ、燃えてない。
Speaker 1
燃えたとか言って。
Speaker 2
よく燃えるんですよみたいなこいつってよく燃えるっていいの?みたいなこと言ってたんか。
あっ、これそうなんです、このGPUはよく燃えるんですよみたいな。
Speaker 1
ね、みんなコメントしてたけど、冷静に。
Speaker 2
よく燃えるって済むの?みたいな。
なんかオチアイ王一さんってね、どっちかっていってたら天才肌でさ、
いつもなんかお家王一すげー常識を逸脱してるぜみたいなイメージだったけど。
なんかオチアイ王一さんが常識的なコメントしてるのがおもしろかった。
Speaker 2
燃えるっていいの?みたいな。そうだよなみたいな。
Speaker 1
そうそうガンガン回ってる イメージだね
Speaker 2
そう
Speaker 1
ああいうグラフィックボード が
Speaker 2
カネリンが言ってくれたから このままちょっと話を進めると大事
なのがですねこのgpu用のvramの大きさ になりますとで基本的にはその
ローカルllmで持ってきたモデル の全部をこのvramに入れてそれで
Speaker 1
推論をさせるっていう感じだよね なるほどね
Speaker 2
そうだからこのvramの大きさ がそのモデルがまず全部全部乗り
切らないとまず動きませんよみたいな そこになってくるからこのvram
っていうのが非常に重要になって くるなとでなんでvramに乗せたいん
かと言うとさっきも言ったように gpuで処理したよねgpuっていうのは
グラフィック用のそういう処理 のユニットなんだけど並列計算
というものができますと並列計算 っていうのはそのままの意味で
Speaker 1
並列で計算できますよみたいな 一気にいけると
Speaker 2
一気にいける別にcpuでも 並列計算できないわけではないん
だけどいっぱいちょっとcpuほど 賢くはないけど計算能力を持っている
Speaker 1
ちっちゃい子供たちがいっぱいいて なるほどねスイミーだ
Speaker 2
そう用意どんでバーッと計算 できるみたいなcpuはもうでっかい
魚が一匹バーッとサメみたいな やつがいるみたいなねそういう
イメージだと並列計算はちっちゃい 計算の繰り返しなのでそういう
一個一個の計算そんな難しくない から
だからいっぱい計算機があった ほうがいいみたいな
Speaker 2
あったほうが全然いいとなので gpuからすぐ読み出せるvramにその
llmのモデル乗っけて計算してその 推論していくというか生成して
いきたいよねっていうのがある からvramが大きいほうがいいと
でもcpuに乗らないわけじゃなくて cpuのそのラムにモデルを乗っけて
cpuで推論させていくってことも 当然できると実は
Speaker 1
要はラムって普通のメモリー だよね言われる
Speaker 2
そうメモリーにボーンって 乗っけちゃってcpuで動かすって
こともできるんだけどその後どう なるかっていうとちょっと遅いんだ
ねめっちゃ
Speaker 1
cpuだから一個一個やってくん
だピピッと
Speaker 2
そうでtokenpersecっていう単位 があって1文字を何秒で生成できます
かみたいなそれがllmローカルllm の指標の一個になるんだけどこれ
がねなんか多分20とか30ぐらいになって くると1秒で20文字30文字出てくる
とあー結構いいよねみたいななんだ けどcpuで処理しようとするとちょっと
違うモデルの差なんだけど例えば gpuRTXの60かなで処理すると40tokenpersec
だったのに対して同じ処理をcpu にさせると7tokenpersecと5倍ぐらい
の差があるよと5倍という場合によって 変わるんだけどcpuで処理させる
となんか1秒間に7文字ぐらいしか 出てくるからすごい遅いのよ実用
に耐えられないと
Speaker 1
遅いそうじゃあgpuでやるのが 基本なんね
そうちなみに別にラムにも 載せなくていい実は
Speaker 1
ああそうなの何だよそれ
Speaker 2
ストレージ側にモデルがあっても 別に動かせなくはない
ああそうなんだssdとかね
Speaker 2
そう
Speaker 1
だからめちゃめちゃいっぱい 載せれるじゃん
Speaker 2
そうその代わり1文字20秒 とかかかる
やばその読み出しでそこの そうモデル全部いちいちモデル
全部読み出して
Speaker 1
ちょっと押しすぎる遅すぎる ね
Speaker 2
遅すぎるだから使えないの 実質
1秒20文字20秒で1文字
Speaker 2
20秒で1文字とかかかっちゃう らしい
Speaker 1
全然ダメだねそれ
Speaker 2
そうssdに全部モデル保存して cpuで推論しようと思うとダウンロード
してきてダウンロードとかそれ 持ってきて推論してみたいなこと
をいちいちやってるとめっちゃ 時間かかるみたいななので実質
じゃあ使えるようにしたいんだ ったらやっぱgpuのvramにモデルを
乗っけてgpuで推論させるっていうこと が必要になってきますとなんです
がこれまたちょっと難しいところ が例えば16ギガですよgpuのvramが
モデルのサイズが16ギガですよ とじゃあ乗りますねという感じ
なんだけどやっぱねそもそも推論 以外にもいろいろと要領を食う
から16ギガのvramに対して例えば 15ギガとかのモデル乗らないのよ
乗りそうなんだけど
乗らないんだギリギリダメ ダメ
Speaker 1
他のことできなくなっちゃう のそれひょっとして
Speaker 2
他のことできなくなっちゃう しそもそもローカルLLMを動かす
ときにもキャッシュみたいなやつ がたまるのねkvキャッシュって
いっても今まで推論してきた生成 してきたものを覚えておく前に
読んだトークを覚えておくみたいな 保存領域も必要でそういうもの
が結構重なってくると要領を取 ってくるのねなのでモデルの大きさ
以上にスペースが必要になって くるから結構一個余裕を持った
サイズにしないとなかなか意外 と乗らなかったりとかうまく動
かなかったりすると
Speaker 1
パンパンダメなんだ
Speaker 2
パンパンダメなんですよね なんかこの24とか32とかっていう
gpuを積んでいかないと結構パッと 動かないよねっていうことがある
とあとgpu同じでもメモリの帯域 幅だよねどれだけ早く処理できる
かみたいな処理のメモリの帯域 もあるから何hzみたいなそういう
とこもちょっと見ておかないと いけないけどそれはよっぽどそんな
に影響はするんだけどやっぱvram ほど大事ではないかなって感じ
よね
Speaker 1
vramねvram拡張できないんでしょう もうグラフィックボード買い替える
しか
Speaker 2
そう拡張ができないから
Speaker 1
裏技ないのなんか
Speaker 2
一応ねちょっとあるのよ裏 技というか基本gpuに収まらんと
収まらん分をram側に乗っけましょう みたいな技術があるね
Speaker 1
ああ聞いたことあるわ
それをcpuオフロードと言うん だけど
Speaker 1
今日メモ取りながら参加させて いただいて終わった後にちょっと
やりたいんで
Speaker 2
いや俺もねちょっとやってない から分からんだけどねそういう
技術があるとで基本的にはその llmってレイヤー状になってるの
ね
Speaker 1
レイヤー
Speaker 2
レイヤー層になってるという かこの処理まではgpuにお願いして
この層以降の処理をcpu側に任せ ようみたいなそういう分割ができる
のよ層状になってるからなので ちょっと収まらなかった分をcpu側
に置いてcpuのram側に置いて分割 するみたいなそういう分割構成
にはできると
Speaker 1
ramに置いたやつをgpuは使えない
んだ
Speaker 2
ramに置いたやつをgpuは持って これはしないかな
Speaker 1
だからcpuにやらせなきゃいけない
Speaker 2
と
そう持ってこれないわけではないん
だけどramに計算させた計算結果 をgpu側に渡すっていうフローになる
かなで残りの処理をvramの方でやる みたいな例えば24gのvramが欲しい
よと本当はねなんだけど16gのvram しかないよって場合は残りの部分
をramに補填させるとcpuで処理させる っていうことで動かせる場合がある
みたいなね場合があるとうまく 動かない場合もあるこれ結構賭け
なんだけど
Speaker 1
それマシンによると
Speaker 2
マシンによるとマシンとかの 組み方にもよるんだと思う結構
ね難しい多分やってないからね ちょっと細かい部分までは言えないん
だけど結構おさほノウハウがある 世界だと思うよ
Speaker 1
へえなるほどね
Speaker 2
でも一応その収まらなかった としてもそっちに逃がすよっていう
方法はあるとなんだけど一番やっぱ 綺麗なのはvramの中に収まるって
いうことだね
量子化とCPUオフロード
Speaker 1
で今のそのおすすめのクエン の3.827ビリオンこれは何ギガの
vramだったらいいの
Speaker 2
こいつはねえっとねえ24かできれば 36ぐらいあるとええんちゃう
みたいな
24でいけんだ
Speaker 2
24でギリギリいけるだろう というふうにはなっていたはず
ちょっと待ってね結論で言おう と思ってたんだけどそれえっと
Speaker 1
ね
結論飛ばしてしまいました
Speaker 2
もうみんな早く聞かせてくれ っていうことだとえっとねたぶん
クエンの3.8の27ビリオン自体の そのモデル自体の大きさがこれまで
ちょっとねそう量子化の話も入って くるからちょっとややこしいんだけど
マックスで一番でっかいやつで 16ギガぐらいだなんでちょっとね
Speaker 1
それちょっとひと回り大きい 目の
Speaker 2
そうだから専用VRAMとして 16ギガを用意しちゃうとちょっと
はみ出てんのねだから細かい部分 軽量化する量子化っていってちょっと
こうモデルを性能落とすなどで きゅっと小さくするか16ギガ厳しい
からさっき言ったように部分オフロード してあげるか24ギガをVRAMの24ギガ
を用意してあげるかただそれでも ちょっと足りなくなる可能性がある
Speaker 1
それでも足りなくなる
Speaker 2
専用のVRAM32ギガぐらいの ほうが安定していけるんちゃう
みたいな
RTX 3090自作PCと中古M1 Max
Speaker 1
これ僕のPCスペック24ギガ ありますよこれ今
Speaker 2
24ギガある
ウィンドウ好きVRAM
Speaker 2
VRAM24あるのすごいね
あるみたい今聞いたらってことは いけるってことっすか
Speaker 2
ちなみにRAMは何ギガ
Speaker 1
RAMは128あります
Speaker 2
RAMええええ
もうなんかとんでもない
Speaker 2
どんなPC持ってる結構だね
Speaker 1
宇宙戦艦ヤマトみたいなやつ 当時ビデオ編集やってたんですね
360度のやつとかをゴリゴリやろう と思ってなんかそこそこいいやつ
買ったんだよVRAM
Speaker 2
それさ動くんじゃない
Speaker 1
ひょっとして動くこれ
うん
Speaker 1
マジ
Speaker 2
専用いや結構いけるんじゃないか 専用のVRAM24と本体のRAMが128でしょ
Speaker 1
128ある
Speaker 2
それローカル動くっしょ
Speaker 1
NVIDIAのRTX3090
Speaker 2
3090か結構古いな
Speaker 1
3090のVRAM24ギガ
ああ3090かそんなにめっちゃ早くはないけど
Speaker 1
世代は古い
Speaker 2
世代は古いねえその世代で128積んでんのメモリーやばくない
Speaker 1
そうっすね4枚ぶっ刺してます
Speaker 2
すごいねすごいね
無駄なメモリーですね
Speaker 2
いけるいけるいける
Speaker 1
でもこんなでもRAMなんて意味ないでしょ128ギガなんてあっても
Speaker 2
RAMもいるよもちろん
Speaker 1
RAMもいる?
じゃあちょっとこれ今日勉強したらやってみようかな
それなんか入りそうだね
Speaker 1
入れてみようか
でもこれさVRAMにそんなもん乗せたらさ他のことに使えなくなるの?
Speaker 2
他のことには使えないよねもうMAXだもんそれで
動画の掛け出しみたいな
Speaker 1
もうそれだけなんだ
Speaker 2
それだけのためのPCになると思う
それなんか使ってんの?ビデオの練習で使ってんの?
Speaker 1
ちょっと書き出したりショート書き出したりするのは
MACでやらずにそっちでやらしてるとか
Speaker 2
ああなるほどね
Speaker 1
そういうのができなくなるんだね
Speaker 2
できなくまあ俺もやったことないからわかんないんだけどできなくなる可能性はあるね
Speaker 1
きつい
なるほどなるほど
Speaker 2
でさっきもちょっとちらっと話したんだけど
結構でかいですよモデル自体は
なんだけど
Speaker 2
いや違う結構もっとでかいな
だけど24あれば収まるかもなと
っていうのは量子化っていうものがあって
モデルのそもそもの
ローカルエディレイムの重さって何なのかっていうと
パラメーターの数とそこに紐づいてる
そのパラメーターの
数字なんだよね
どんだけ数字がいっぱいあるかみたいな
Speaker 2
そのパラメーターの数字自体を量子化って言って
桁を落とすって言うとあれだけどビットを落としてあげるみたいなね
ビット落とす
8ビットから4ビットにするとかね
なんかそういう感じでこう
Speaker 1
凝縮する
Speaker 2
凝縮してあげると
桁が落ちるというかちょっとその数字のね
が丸々るんだけど各パラメーターの
それでもこう圧縮結構できるのよ
でそうやって圧縮していくと
VRAMに積みやすくなるみたいな
Speaker 1
なるほどね
そういうテクを使えばもっといきますと
Speaker 2
そうそういう量子化されたモデルがあるから
それだったら入るかもしれない
ただ当然そのパラメーターの桁を落として
性能は落ちないようにしてるんだけど
若干ちょっと性能が落ちてる可能性もあるよねっていう
ことはあるかなっていう感じ
Speaker 1
なるほど
Speaker 2
そうだね
金井がまさかそんなでっかいものを持ってるとは思わなかったけど
でかいんだねこれね
Speaker 2
24はでかいでしょだって俺だって12とかだね
俺のRTX4070か
VRAM
Speaker 1
40はいはいはいはい
Speaker 2
でCPUは32ギガとかだったかな
全然動かん
Speaker 1
持て余してますねこれ
Speaker 2
すごいね
いやこれはローカル動く可能性があるぞと
Speaker 1
ちょっとじゃあレポートしないとダメだなこれ
支部長に教えてもらって
Speaker 2
そうちょっとねクエンが動くか
でもクエンもなんかね
一応いろいろホームページとかブログ見ると
それで動くよっていうのもあるし
128ギガの容量持っていても
動かなかったよっていう人もいるから
組み方にもよってだいぶ違うと思うんだけど
Speaker 1
そこ知識いるのか
Speaker 2
若干やっぱ難しさはあると思う
で例えばAppleとか
AppleだとUnified Memoryっていう感じで
CPUとGPUのメモリ区別してないんだよね
Speaker 1
ああそうなんだ
じゃああれだね
Appleのメモリ128とかやってる人
Speaker 2
そうあれね動くのよ
Speaker 1
すごいね
その代わりCPUの容量が使うメモリも食ってるから
Speaker 2
パソコンの動きとしてはどうなるかあれだけど
だからGPUで使える領域とCPUで使える領域を共有している
Unified Memoryという仕組みなので
Appleで128ギガとかっていうと
実はGPU側からも128ギガ使えるから
Speaker 2
結構大きいモデルが乗るのよね
だからMacでみんなローカルLMやりたがるんだよ
Speaker 1
ああなるほど
でっかいグラボ買わなくていいってことか
Speaker 2
そうでも高いけどねその値普通に
普通に高いね
Speaker 2
この前リスナーさんから教えてもらったのが
ローカル今一番熱いのが
MacBookのM1 Pro Max
M1なんだ
Speaker 2
が一番熱いですよっていう風に教えてもらったのこの前
安っコスパがいいってこと
Speaker 2
そう128ギガで20万円ぐらいで中古で売ってる
Speaker 1
へえ
Speaker 2
M1 Pro Maxだから世代としては2021年とか22年ぐらいで出たやつなのかな
古いんだけど
Speaker 1
古いね
Speaker 2
でも一応M1 Pro Maxだから結構積んでんのよ
ユニファイドメモリーで128ギガ積んでてモデルは乗ると
当然その処理能力は遅いんだけど
ちょっとローカルLMを遊ぶ分にはモデルがとりあえず乗っちゃえば
こっちもんだから意外となんかいいんじゃないかなと思って買ったんすみたいな
へえ
結構そのAI界隈というか
Speaker 2
M1 MacBook Pro Maxちょっと名前正しくわかんないけど
暑いんじゃないみたいなことで
安くて暑いんじゃないみたいなことで結構言われてる
Speaker 1
中古で
Speaker 2
中古で確か20万で128ギガの
Speaker 1
相当だよねグラボでそんなもの100万とかするでしょ
Speaker 2
そうそうなんだけど確かにスピードとかあまり求めすぎずに
とにかくどんだけ動くかとか試したい
であればそれも選択肢とありだなと思った
なるほど
Speaker 2
それめっちゃ発熱するらしいけどね
Speaker 1
爆発しそうだな
Speaker 2
そう当然古いしね
Speaker 1
ちょっと遅いけどってことだよね
ちょっと遅いけど一応その乗れば動くから
Speaker 1
うん
Speaker 2
っていう意味でそのUnified MemoryってMacは結構
相性がローカルLMと相性がいいと
Speaker 1
なるほどそういうことなんだね
Speaker 2
そう
まあMac多少高いけど
Speaker 2
うん多少高いけど
Speaker 1
中古か
中古のね
Speaker 1
それは支部長もありなんじゃない
Speaker 2
それはね確かにでも相場調べたけどちょっと上がってるよねやっぱね
気づき始めてるかもしれないみんなが
Speaker 1
買ってんだみんな
店売屋も買ってるかもしれないよこれ
Speaker 2
そうだからあれなのよ本当に秋葉原とか行って
その店頭に出てるやつとかをうまく収集して買わないと
多分ねネットで買ってたら捕まされるだろうな
でも20万円ちょっとね勇気がいるよね
動くか動かないどのくらい動くかわかんないけど
なんか中古のM1ね
Speaker 1
まともに動くんでしょうか
Speaker 2
そうそうそう
ちょっとねそこは難しいよなみたいな
Speaker 1
SSDは控えめでもいいってことだよね
Speaker 2
まあそうだねストレージもだいたいその128ギガとか
あとニテラとかついてたりするんだよね
Speaker 1
みんな買うんじゃないこれちょっと今検索してみたけど
Speaker 2
結構いいらしい
いつも聞きに来てくれる人が
かねにも会ったことあるよその人
手伝ってくれた人で
Speaker 1
ウィークエンド
Speaker 2
ウィークエンドで
Speaker 1
ありがとうございます
Speaker 2
言ってました確かにその選択肢あるなと思って
Speaker 1
買ったんだその人
Speaker 2
買ったって言ってた
Speaker 1
ちょっと豪華ってところ聞きたいね
Speaker 2
遊んでますみたいな
あっそうだね人間知らないけど
Speaker 1
これメインPCじゃなくて置いてあるんだよね多分
Speaker 2
うん置いてあるなんか持ち運んではいると言っててなんか
Speaker 1
へえ
Speaker 2
ずっとそれ置きなんすかって言ったらいやいや持ち運びますよ
バッテリーは5時間ぐらいしか持たないけどとかって言ったけど
Speaker 2
5時間持つだったら十分だなと
めっちゃ熱くなりますと言ってたけどなんか多分動いてはいるんじゃないかな
ぜひちょっとまた続行をお待ちしております
まあそういう選択肢もあるみたいな
Speaker 1
うんうん
なんかそうだね中古とかで何とかしないと金額おかしいもんな
DGX SparkとAI発信者の機材事情
Speaker 2
新品でよっしゃやろうぜと思った時に選択肢としてあるのは
NVIDIAのさっきも言ったけどDigic Sparkっていうね
NVIDIA
Speaker 1
大本命
Speaker 2
はい大本命
こちらも実はそのユニハイドメモリと同じような形で
Speaker 1
へえ
Speaker 2
128ギガの共有のメモリ構成になってるのねCPUGPUと
なので一応128の共有メモリがあって
VRAM128って感じじゃないんだけど
まあそんだけ乗りますよと
Speaker 1
うん
それ分かれてない方がいいのなんかそういう流行りなのユニハイドメモリ
Speaker 2
いやどうなんだろうねでも分かれてない方がいいというか
VRAMに128とか乗っけちゃうとそんでもないことになるんじゃない値段的に
Speaker 1
ああやっぱそうなんだ
Speaker 2
なんか共有した方が効率がいいのではないのかと勝手に思ってるけど
ごめんあんまりこのハードウェアの部分わかんないから適度なこと言ってるかもしれないけど
高そうめっちゃ高そうだもんね
Speaker 2
でもそうだよね普通にさGPUのVRAMで24とかさ
そういうものの値段だけでもさもうすごい高いじゃん
Speaker 1
高いね
Speaker 2
あれが128とかだったらとんでもないことになる人だよね
Speaker 1
それだけで200万みたいな
Speaker 2
そう平気で行きそうじゃん
行きそうな気する
Speaker 2
なんだけどDGXパークは100万ちょっとだよね
Speaker 1
うんうん
それパソコンなのそれ自体
Speaker 2
パソコン結構ちっちゃいよお弁当箱みたいのぐらいのほんとに
はあ
ちょっと大きめのお弁当箱
Speaker 1
ほんとそれだけの特化してるみたいな
Speaker 2
そうなんかサイズ的にはほんとになんか幅的にはマウスパッドぐらい
Speaker 1
マウスパッド?
Speaker 2
マウスパッドぐらいのなんかほんとにちっちゃいよ
え何幅マウスパッドって5ミリぐらいしかない
Speaker 2
いや違う違う幅じゃないやこの大きさ
ああ大きさね
Speaker 2
そうこのぐらいの大きさで厚みはなんか
Speaker 1
マウスパッドのなんか都心のめっちゃ細長いマンションみたいな感じかと思った
違う違う違うそんなに大きいパソコンじゃないんだけど
Speaker 1
ほんとコンパクトだよね
Speaker 2
すげーコンパクトでめっちゃかっこいいよね
Speaker 1
かっこいいんだ
Speaker 2
そうかっこいい
Speaker 1
DJ何DXスパーク?
Speaker 2
DGX
Speaker 1
DGX
スパークなんか車の名前みたいじゃんこれさっきの
Speaker 2
あたしがGTRみたいだね
Speaker 1
GTRうん
Speaker 2
そうなんだよね
Speaker 1
これが今じゃあ大人気なのこれ
Speaker 2
大人気って言うと語弊があるけどねその界隈で
Speaker 1
界隈でか
Speaker 2
あとAMDのRyzenのAIMAXっていうのがあるらしいんだけど
Speaker 1
RyzenってあれかG-Forceじゃないライバル企業
Speaker 2
そうAMDのねRyzen
Speaker 1
AMDの
Speaker 2
AIMAXっていうのもあるみたいな
Speaker 1
どっちも安そうですね
Speaker 2
そうだねそれを並列につなぐっていう人もいるみたいだけど
それはGPUの名前だよね
Speaker 1
価格.comで100万円ぐらいですね
Speaker 2
DGXスパークでしょ
Speaker 1
このパソコンはい
だからやっぱこれをなんか
Speaker 1
100万円だって
なんかそうやっぱAIガチYouTuberとかこれ6台ぐらい積んでるらしいよ
Speaker 1
何をしてんだろ彼らは
Speaker 2
背景
Speaker 1
彼らは何をしてんだ
Speaker 2
唐揚げセレブ言ってたもんやっぱ
ビデオポッドキャストでAIのこと語ってて
背景にDGXスパークないのおかしい
Speaker 2
そこがあって
AIのポッドキャストなんだなみたいな
あれかもうG検定E資格
Speaker 1
DGAなんとかスパークみたいなそういうことなんだね
めちゃくちゃ飛んでるけどね
Speaker 2
だからここはクロード君がいるじゃない背景にね
クロード君の台座としてやっぱここにDGXスパークないと
やっぱあの拍がつかないというか
あーこいつらそのレベルなんだよねみたいな
Speaker 1
ちゃんとやってないんだみたいな
Speaker 2
せめてカネリンのライティングされたところのところに
一個キラキラ輝くDGA
Speaker 1
ここにはめ込んどく
Speaker 2
はめ込んどいて
Speaker 1
そんな感じのものなんだね
Speaker 2
そうそんな感じの
なんでそんなにみんな勝ってるんだって感じだけど
Speaker 1
発信者同士でマウント合戦みたいな
Speaker 2
うちはもう2台あります新しいの買っちゃいましたみたいな
え唐揚げ先生は持ってんの?
Speaker 2
持ってる
Speaker 1
うわーすげー
Speaker 2
やっぱAIで発信してる人だから
Speaker 1
ポジショントークすげーなほんと
Speaker 2
いや持ってないですがみたいな
あらあらららみたいな
偽物ですね支部長さんってなっちゃうから
いやー
Speaker 2
ちょっと買えないですけどね
Speaker 1
唐揚げさんぐらいだったらなんかちゃんと使ってるんだろうけど
ユーチューバーは何に使ってんの?
Speaker 2
その人ももうガチのやつだよね
唐揚げ先生は
自分のさコミュニティの中で動く
AIエージェントだから
Speaker 2
オープンクローとかあるじゃん
オープンクローのオリジナル版を作ってるんだよね唐揚げ先生
ザンギってやつを
Speaker 1
それそういうやつなんだザンギって
Speaker 2
よりオープンクローやつちょっとリッチすぎるから
Speaker 1
オープン唐揚げみたいなことね
Speaker 2
オープン唐揚げでございます
ザンギもそうだねだから揚げ物だよねだから
Speaker 1
ザンギって何揚げ物って意味なの?
揚げ物だけどザンギって食べ物あるじゃん
Speaker 2
唐揚げみたいなやつ
Speaker 1
そうなの?
あるよね そんなの誰も知らないと思うよ
え?あるよザンギは 唐揚げとかにしてよ唐揚げさん
Speaker 2
ややこしいじゃん名前が同じだと
カネリンが作ってるカネリンというサービスがあったらややこしいでしょ
Speaker 1
カネリン俺も全部カネリンだよね
Speaker 2
ザンギってほら
Speaker 1
国会堂の
Speaker 2
唐揚げみたいなやつ
Speaker 1
居酒屋とかでよくあるやつ
Speaker 2
そうそうそうだからそういう名前
食べ物系で
Speaker 1
下層天とか下層唐とかにしてほしかった
Speaker 2
この時間にこういうの見るとお腹が空いてくるからあんまりよくない
Speaker 1
そうですね
Speaker 2
下層唐
自分で作ってんだ
Speaker 2
そうを返してコミュニティの質問に回答するみたいなところに使ったりとかしてるらしい
Speaker 1
すごいね活用してる
Speaker 2
としてちょっと実験的な部分もあるんだろうけど
だから落ち着きAIコミュニティもほらやらないと
ローカルLMで動いてるみたいな
Speaker 1
ほんとだよなほんとだよな
落ち着きAIコミュニティでなんかこういろいろ実践をしていきたい構想はねあったけど
追いついてませんよ
Speaker 2
追いついてないね追いついてないステップはステップです一個ずつやっていきましょうという
Speaker 1
アジャイル開発
Speaker 2
知ってることを出せばいいと思うじゃないですか
Speaker 1
なんかやりながら直すみたいなイメージかなと思って
Speaker 2
そうね作りながらね穴がち間違っちゃいないけど
Speaker 1
そうかローカルがあるとそういうことができると
電気代、LM Studio、Windows自作PC
Speaker 2
そうそれが勝手に家の電気代だけで家の電気代だけでっていうけど
結構電気代もかかるんじゃないかなとは思うけどさ
Speaker 1
そうだね電気代すごいよ
Speaker 2
でもかなりさパソコンとかぶん回してなかったらなんか
ビットコインとかなんかずっとマイニングの文化あるじゃん
Speaker 1
そうですねマイニングをね昔してましたねこの子で
Speaker 2
あマイニングしてたんだやっぱ
でめっちゃ熱持つんで冬は暖房兼マイニングで
Speaker 1
電気代結構かかるから結局トントンみたい
Speaker 2
そうだよね電気代かかるんだよね
時間を買ったかなぐらいかな当時のレートでみたいな
Speaker 2
マイニングってどんぐらいお金かかるの電気代どんぐらいかかるの
Speaker 1
なんか電気代でもそんな10万はいかなかったかなぐらいですけど
家庭の電気代の何か数倍いってたかな
なんでこんな高いのみたいな感じだった
Speaker 2
ちゃんとかかるね
Speaker 1
ちゃんとかかる
だしなんかもう夏は灼熱地獄みたいになってた
Speaker 2
なんかLLMどんだけ爆熱になるかわかんないけど
そのぐらい電気かかったらなんか課金した方がいいってなりそうな
Speaker 1
でもそのNVIDIAのやつはわかんないけどね
効率良さそうだけどね
Speaker 2
そんな爆熱っていう感じではなさそうな気もするけど
Speaker 1
ゲーミングパソコンみたいなやつやってるから
効率すごい悪そうだけど
Speaker 2
どうなんだろうねどこまでバクバク動かすかっていうところもあるとは思うけどね
Speaker 1
今もだから結構フルでたまに動いてて1日中
その今のさ切り抜きをレンダリングするみたいなショートレンダリングするみたいな
一気にバーってやるともう灼熱地獄だ
まあそうだよね
Speaker 1
電気代は見てないです怖いんで
Speaker 2
いやなんかそこまでバリバリ動かしてないからな
なんかパソコンをMacBookのMacBook Airで全てをやってるからね今
Speaker 1
すごいよねそれはね
Speaker 2
動画もまあポッドキャストなんて別にさそんなにPC使わんじゃん
Speaker 1
うんうんそうね
Speaker 2
そのノイズ処理とかねカネみたいにやらなければ本格的に
なんかポン出しだからさ基本的に音に関しては
動画も別にそんなこった編集しないし
Speaker 1
渋長ショートとかも作ってるな
まあショートちょっとぐらいだったら別に
Speaker 2
ショートもね別にそう単に切り出すだけだから問題ないし
Speaker 1
ああそうか
Speaker 2
ってな感じかな
だけどやっぱその家にあるRTX4070をなんとか
Speaker 1
ねえなんか
Speaker 2
使いたいけど4070もうね5090の時代なんですよね
Speaker 1
ああでもそこよりあれじゃないのなんか
RAMの大きさが重要?
Speaker 2
そうだよVRAMの大きさが重要なんだけど
結局今の現行のやつでも
うんうん
Speaker 2
どこかあったよな確か
Speaker 1
でもそれ中古のVRAMじゃねえや
グラボとか安くないのかね
Speaker 2
中古のグラボちょっとあれだよな
Speaker 1
火吹きそう?
Speaker 2
いや火吹きそうではないけどなんかこう
そうね拡張
結局まあ自作PCだから俺も作ってるのが
使ってるのがあれを拡張していくって手もあるけど
高えんだよな結局ね
確かに高えんのね
Speaker 2
あでもあれだ俺が調べた
中に
RTX3090あるわ
かなり3090って言ってたよねさっき
Speaker 1
3090やね
Speaker 2
一番コスパのいい構成
RTX3090で
CPUもちょっと増設して
VRAM24GBと
で構成すると
意外とギリギリ乗るんじゃねえかみたいな
Speaker 1
ギリギリ構成か
Speaker 2
結構ギリギリ構成のあれにはなってるね
本当に動くんかな
でもまあ今あるもので試してみるのはいいと思うね
Speaker 1
ちょっと何これ
クロード君に聞きながらやりゃいいのかね
いろんなやり方があんのでもその構成の仕方って
Speaker 2
まあそうだね構成の仕方自体はいろいろあるんだけど
一番簡単なのがやっぱLM Studio
Speaker 1
何度か出てきてるやつだ
Speaker 2
これGUIで動かせるから
Speaker 1
それがやっぱ依然としておすすめですか
Speaker 2
やりやすいと思う
ダウンロードして会話したい人の入り口って感じかな
Speaker 2
他にもいろいろ構築手法があるんだけど
あんまりごめん深掘りできてないわ
最近そのWindowsはさ
Speaker 1
Macと通信つないであるんですよ
なんかアプリでテイルなんとかみたいな
でAIがもう直接動かしてもらっていろいろやってるんで
何が起きてんのかブラックボックス状態ですね
Speaker 2
全部お任せなんだね
Speaker 1
そうね
てかWindows触らずにMacから全部動かせるんだみたいな
ちょっと感動してるんだけど
ファイル消したりも当然そうだけど
Speaker 2
どういう経由でそれ動いてんのそれ
ネットワークからファイルやり取りかな
Speaker 1
Wi-Fiの
データ送って重いデータは
重い処理はWindowsでやって
完成したやつを返してみたいな感じですね
出先でもそういう風に回るようにしてあって
Macでは何も回さないみたいな感じ
Speaker 2
結構やってんね
でもそれいいね
Macもさ最近MacBook Pro買ったよね壊れてたけど
Speaker 1
そうですよ壊れてってね
先日やっと返品できました
70万円早く返してくださいもうカード会社さん
Speaker 2
あれそうか買い直したんだよね
買い直して返品
最初のやつが返金されるみたいな
謎ルーティンだったよね
Speaker 1
特別対応でちょっと伸びて
1ヶ月ちょっとぐらい返品期間過ぎてますけど
いいですよってなって
で直ってきたんで
この間買ったやつを返品してきました
なんとか一悶着二悶着あったけど
Speaker 2
じゃあ手元にはあるの?
あの壊れ画面半分消えてるMacBookじゃなくて
Speaker 1
直ったやつが
Speaker 2
それスペックなんだろう
Speaker 1
これスペックは
あれだね
なんだったっけこれ
M5 Pro
Speaker 2
メモリは?
Speaker 1
40いくつ
ちょっと48か
ちょっとね
メモリしょぼいんですよ固まってばっかなんでね
Speaker 2
48でしょぼいはちょっとあれだよお金にさ
ずっと固まる話です
こっちがやばい
MacBook Air 16GBだ
え?それで固まんない?
Speaker 2
固まる
3個ぐらい並列で作業してると
あー
Speaker 2
ポッドキャスト処理させてショート動画作って
後でなんかしてってやると
メモリがいっぱいですみたいなやつが出てくる
何かを落としてくださいみたいな
Speaker 1
うーん
ほんと128とか欲しくなるよね
Speaker 2
上を見たらキレがないよなほんとに
Speaker 1
VSコードでさもう
タブ開きまくってなんかマルチみたいになっちゃってるからさ
Speaker 1
止まりまくって
ダメだなって仕事のやり方ダメだなって思ってる
Speaker 2
VSコードじゃない方がいいかもね
ターミナル直接開くみたいな
Speaker 1
怖い怖いそれは
Speaker 2
ターミナル複数でバーって管理できるやつあるよなんか
Speaker 1
そうなの?
VSコードダメ?
Speaker 2
ダメじゃないよダメじゃない俺も使ってるけど
ファイル確認するし
Speaker 2
意外とVSコード開かなくてもいいよねみたいなとこはある
Speaker 1
ああそう
Speaker 2
そのなんかファイル見ないんだったら
ファイル見ないね
Speaker 2
普通にその
チャットGPTのデスクトップアプリでやっちゃうとかさ
コーデックス使えるじゃん
Speaker 1
うんうんうん
Speaker 2
ちょうどよっぽど楽なんじゃないかなってのあるけど
ドルミチンメモリアクールでしょ?同じように
Speaker 2
まあそうだね
Speaker 1
外部メモリーとかないのかね
Speaker 2
外部メモリーね
増設するしかないよなもうストレージじゃないのかな
Speaker 1
ラブを増設したいよな
Speaker 2
そっか増設って言ってもあるよな
ちょっと今パソコン
Speaker 1
うんうん
Speaker 2
2年目でもうすぐ
でもGP高いんだよな結局な
Speaker 1
その今のAirより
例のM1 Pro Max 128の方が良かったりすんじゃないの?
Speaker 2
そうだねそれはそうだね
今デスクトップPCがさ
家にあるから
あっちを増設した方がいいんじゃないかみたいな20万円あったら
Speaker 1
はいはいはい
Speaker 2
説もあるよね今すでに付いてるRTXの4090プラス
4070かプラスなんかもう一個みたいな
Speaker 1
うんうんそっちをじゃあ強化していくんだね
Speaker 2
強化した方がいい気もするし
なんかパソコンでもなあんまり自作パソコン
いじっていい思い出がないからな壊れたりとか反応しなかったりとか
壊れるからね
車いじってるような人だからめちゃめちゃいじるのかなと思って
Speaker 2
いやああやるよやるけどなんかね
いきって水冷パソコンとかにしたからいじるのめんどくせえんだよな
Speaker 1
いいね
Speaker 2
やっぱ車と一緒でさ冷やすのと水冷でしょみたいな感じで水冷ユニット今貼り付けて
まあそんなに水冷
Speaker 1
いじりにくいの水冷にすると
Speaker 2
いじりにくいわけじゃないけどちょっと線増えてたりとかしてめんどくさい
けど水冷でもそんなガチガチに水冷にしてるわけじゃないから
ガチガチっていうのは本当に水冷にする人はさ水見えるようにするのよ
でちょっと色付きで
Speaker 1
水族館みたいな
Speaker 2
水族館みたいなちょっと照らしてみたいな
はい水冷パソコンですよこれみたいなね
Speaker 1
かっこいい感じね
Speaker 2
そうかっこいい感じでそういうことにするとさ漏れるんだよね水が
Speaker 1
液が漏れる
Speaker 2
で終わりみたいな
Speaker 1
リスクを負うんだけどかっこよさの代わりに
そうならないようにもうなんか一応水冷の線が通ってるんだけど
Speaker 2
CPU冷やすクーラーと水冷ユニットがあって
そこガチガチの線が通ってるみたいなやつを付けてるんだけど
頑丈なやつね
頑丈なやつ
Speaker 1
俺も水冷だったかなCPUとGPUはね
Speaker 2
やっぱ水冷の方がねうるさくなくて
いいって話あるけど結局うるせぇんだよな
Speaker 2
みたいな
Speaker 1
水冷うるさい
Speaker 2
水冷はうるさくないんだけど他のファンがうるせぇな
そこだけじゃないしね
Speaker 1
結局ファンファンレスにはできないよね
そうね結局その筐体の中を循環させたりとかしたいから
Speaker 2
っていうのあって意外とうるさいっちゃうるさいんだけど
パソコンちゃんと増設するかな
Speaker 1
なんかその後ろの3Dプリンターがね
そのうち巨大パソコンになってく日もあるかもしれない
積み上げられてるかもしれないパソコンがね
東京に持ってくるのめんどくさいから
Speaker 2
こっちいるうちはちょっとなんとかMacBook乗り切りたいよな
って言ってたらもう来年になっちゃうんだけどさ
Speaker 2
めんどくさいねパソコン持ってくるの
パソコンの郵送もあるんだけど専用のね
Speaker 1
何かしら壊れそうだよね
Speaker 2
一応ね壊れた時の保証ありのなんか
そういうなんかお店に持ってけば運んでくれますみたいなやつはある
Speaker 1
キャリーケースに何とか入れて持ってきたの?
入んない入んない入んない
Speaker 1
入んない結構でかいね
Speaker 2
でかいでかいそんなキャリーに入るようなもんじゃないよ
割とでかいやつなんだ
すごいでかいやつを買いました
30万ぐらいしたよ買った時はね
ゲーミングっぽいやつね
Speaker 2
そうゲーミングPC
その時はゲームやるんだと思って買ったんだけどね
Speaker 1
その時はゲームやるんだなんだ
Speaker 2
ゲームそうあのねアーマードコアっていうゲームと
Speaker 1
なんか聞いたことある
Speaker 2
フォルザっていうゲーム車のやつだねこれは
をやるんだという強い意思のものに買ったんだけど
全くやんなかったね
睡眠不足と健康の話
Speaker 1
なんでなんで時間がない
Speaker 2
時間がないそうそうそう
ゲームやってる時間になってないなと思って
Speaker 1
そんなこと最初っからわかってんじゃん
だけどわかってるけど
Speaker 2
なんかなんだろうね余裕はあるよねみたいな
いつも余裕ないのに幻想の余裕を見てるみたいな
Speaker 1
時間の目測を誤る感じなの
Speaker 2
そう一日を40時間ぐらいで観察しちゃう癖があって
Speaker 1
すげえ緻密にやってそうなのに
Speaker 2
全然足りねえみたいな
Speaker 1
で睡眠時間がやられてしまう
Speaker 2
いつも毎週落ち着きAIも収録前にさ
あっこんだけ時間があるから原稿このぐらいできて
Speaker 2
このぐらいに余裕あるなと思うんだけど
いつも5分前ぐらいまで収録の
やべやべやべってなってて
Speaker 1
なんかそれ意外なんだよな
Speaker 2
バタバタして
Speaker 1
計画的に時間は決まってそうなのに
Speaker 2
そうなんだよね結局一個やり始めると増幅すんだよね
そのタスクがあやべこれこれもやんなきゃいけないじゃんみたいな
Speaker 1
それAIならではで
Speaker 2
違うもう全然普通に自分の仕事として
今日もなんかその案件受けてる動画をさ
無視付きAIの収録前に作らなきゃいけなくて
動画作ってたんだけど
やべえみたいなこれ足りてなかった
Speaker 2
これ違うわみたいな
これは本当に効かなきゃみたいなことがあって
で結局想定よりも1時間ぐらい
なんか時間かかってるみたいなのばっかなんだよ結構ね
Speaker 1
意外ですね
自分の力量把握してどれぐらいできるからみたいなの
全部管理できてんのかと思ってた
全然管理できてない
Speaker 2
結果寝れないみたいになるよね
Speaker 1
ははははははははは
Speaker 2
よくないそういうとこAIに管理してほしいんだけど
Speaker 1
そうだね電気食のAIはどうですか
Speaker 2
そうね気絶させるみたいなね
もうなんかここら辺にさつまみつけといてさ
血液をピュッて止めて
みたいな
死なない程度に
ちょっと抑え所間違って死んだみたいな
Speaker 2
そうね危ないね危ないわなんかまかり間違って
首絞めた
Speaker 2
首解除されなかったら死ぬもんねやめとこう
Speaker 1
フィジカル怖いね
Speaker 2
フィジカルは怖いですね
ジェブニー判断させてこう生きてますから
Speaker 1
でもいろんな生体データ入れてんの?
なんていうのかな自分のこれウォッチとか
Speaker 2
あーいや入れてないねこの前
人間ドッグのデータをチャットGPTに読み込ませたぐらいをしたけど
Speaker 1
あー
なんか数値悪いのあるんだね
Speaker 2
そうだでも回復したよちょっと
Speaker 1
なんで回復できるんだ
Speaker 2
肝臓がCになったDから
睡眠ちょっと改善した?
Speaker 2
いやわかんない何もやってない
でもランニングとかはね運動は
ジムには通い始めてるから
Speaker 1
ああそうどう続くのそんなの
Speaker 2
そう続けてはいるよ
Speaker 1
東京来てからなんか健康的なチャイ始めて
運動を始めてでまた瞑想を再開みたいな
Speaker 2
そうなんか妻に言われたけどね
寝た方がいいんじゃないそんなことするよって
Speaker 1
全くその通りだ
でも何かしてないと気が済まないから
Speaker 2
あのさジムもよくなくて
Speaker 1
ああうん何
Speaker 2
走り油酸素をした方がいいよ肝臓にって書いてあったから
油酸素をしようと思うんだけど
思い立つのがさ作業が全部終わって思い立つのが12時半ぐらいなんだよね
Speaker 1
夜中?だめだね
Speaker 2
よしじゃあちょっと30分ぐらい走りに行っちゃうやん
睡眠にすごく多大な影響がある多分ね
Speaker 1
寝る前に走るってちょっと
Speaker 2
よくないよね多分ねなんだけどそこのタイミングで時間が取れるからさ
ちょっともう走らないとなみたいな
Speaker 1
起きてからは?起きてから走ったの?
そうそれもあるじゃん朝起きてから走るのもいいなと思うんだけどさ
Speaker 2
朝は朝で忙しいんだよ色々
寝る前しかないんだ他のも寝る
しかなくて優先度の高い仕事がねいっぱいあるんだ朝は朝で
Speaker 1
朝が一番冴えてる?
冴えてはいるよ朝やるんだったらやっぱ本書いたりとか
Speaker 1
クリエイティブな
Speaker 2
クリエイティブをしたくて
Speaker 1
脳みそ使うやつ
Speaker 2
そうフィジカルを使うだったら残りなんかその日に絞りきれなかった体力を使って
体をいじめるみたいな方がいいかなと思って夜走りに行くんだけど
絶対良くないなと思ってる健康に
Speaker 1
そうだねで寝つき悪くなる
Speaker 2
寝つき悪くなる
やばすぎ
Speaker 2
寝つき悪くはないね気絶するように寝れるけどね
全てを使い切ったみたいな
Speaker 1
疲れて寝てていいんじゃないの
Speaker 2
でもさ何だろうなんかスマホの充電と一緒でさ
なんか80%70%ぐらい朝起きたら体力的に
マックスになってないみたいなね
Speaker 1
100にはなってない
Speaker 2
100にはなってないなみたいな
Speaker 1
時間がね足りてないからね
Speaker 2
時間が足りてないからそのなんかちょっとプッて刺してさ
10分ぐらい充電してピュッて抜くみたいな
5%ぐらい充電できましたみたいな
Speaker 1
3時間4時間でしょ
Speaker 2
よくない本当に睡眠不足は本当にね最近そのショートスリーパーの人も話題になってたけど
Speaker 1
俺のタイムラインには1ミリも流れてこないのよ
Speaker 2
めちゃくちゃ流れてくるなんで
Speaker 1
渋長睡眠不足だからでしょ
Speaker 2
違うよ今全日本のSNSに流れてきてるはずなんだよあれは
Speaker 1
あれこちゃばだって
Speaker 2
いやいやいや
Speaker 1
俺一回も見ないもんめっちゃ検索してようやく探したもん俺
いやめちゃくちゃ出てくるよ
堀なんとかさんでしょ
Speaker 2
堀さんすごい出てくる
Speaker 1
本当さ全然知らないけどさもう本当嘘だ嘘だとしたら罪深いよね
30分でいいっすよとかって言ってそれ信じてさ体おかしくなっちゃってる人いるっしょ
Speaker 2
そうねいやあれはねえでもなんかあれらしいよ
なんかあの1週間なんか30分睡眠みたいなやつのチャレンジやって
Speaker 1
はいはい
Speaker 2
それの結果なんかその口座めっちゃ申し込み者増えたらしいよ
Speaker 1
なんで
Speaker 2
わかんないけどすごいね
Speaker 1
いじりにきてんのみんな
Speaker 2
ちょっと若干そのなんか今が旬だからちょっと受けてきましたみたいなこと言おうってお金払ってる人も多い気がするけどね
Speaker 1
そっちか
Speaker 2
そう乗っかりみたいな
Speaker 1
でも大丈夫だったのその人倒れて倒れず
Speaker 2
倒れずにはなんか疑惑はいろいろあれど
Speaker 1
ヘロヘロだったんでしょ最後の方
最後の方ヘロヘロだったしなんかチンチンも出しとったよ
Speaker 1
やばいな
Speaker 2
本当にミスで
やばいじゃん
Speaker 2
ミスで出るっていうなんかね
Speaker 1
やばいじゃんその人
Speaker 2
すごい話題の作り方上手だなって思ったね
Speaker 1
話題の作り方上手なの
Speaker 2
上手でしょだってあんな注目されてさ
Speaker 1
自分の何それそういう作戦なの
Speaker 2
わかんないどこまでが戦略なのかわかんないけどなんか深読みすると全部戦略なんじゃないかなと思っちゃうぐらい
Speaker 1
発信者を信じちゃダメだね
Speaker 2
面白かったわなんか
面白かったんだ
Speaker 2
俺もちょっとあのねちぎられた情報しか見てないけど
Speaker 1
いや俺ちょっと
Speaker 2
見て流れてくるから
Speaker 1
いやすごいなすごいね
Speaker 2
でもね睡眠時間がね確かに削られたら一番いいんだけどね
そうそれで健康に生きれるのあれば
Speaker 1
うんうん
だからちょっとね人のフリーみて
やっぱ
Speaker 2
じゃないけど睡眠
Speaker 1
落ち着きスリープの先生の言ってたことは本当だったなと思って
Speaker 2
何つってたっけなんかいろいろ
Speaker 1
オンエアで多分言ってないけど
なんかこういうね堀さん当時流行ってたから
なんか30分でいいとかいう人最近いるけどあれ本当なんすかっつって
いやまあそういう人がいてもおかしくないかもしれませんけど
ちゃんと寝てくださいって
すげえ冷静に言われたんだけど
Speaker 2
いやそうね
Speaker 1
信じちゃいそうだからさ
やっぱその若年性アルツハイマーとかさやっぱリスクを抱えるらしいよね
Speaker 1
そうだね
病気症とか
排出できなくてねその老廃物が
Speaker 2
そうそうそう
Speaker 1
言ってたなそんなことも
Speaker 2
だから俺もう怒られないよなんかそうその話も今週ちょうど妻としたんだけど
本当にこれ若年性アルツハイマーとかなったらさ
ほら言ったじゃーんってなるからやめてほしいって
Speaker 1
いやいやほら言ったじゃんってすまないよね
Speaker 2
何言ったってってなっちゃうじゃん
そうだねボケ老人
50くらいでボケ老人
Speaker 2
困るよね
Speaker 1
本人困んないもんな
Speaker 2
本人困んないからそう一番良くないよね
Speaker 1
ポッドキャストの相方と人生の相方は困る
Speaker 2
そう
なんだってって落ち着きえないねなんだってみたいなことをずっと言ってね
Speaker 1
同じ話ずっとする
Speaker 2
ずっとするみたいな
カネにも言うてそんな寝てないでしょ
Speaker 1
いやいや
寝てる?ちゃんと
Speaker 1
睡眠時間俺結構頑張って撮ってますよ
Speaker 2
撮ってるんだ
Speaker 1
確保してますね
寝る時間はもうバグってるけど
Speaker 2
そうだよね
Speaker 1
朝寝てほんと夕方起きるみたいな時はあるけど
でもなんか落ち着きスループの先生も寝れてりゃいいって言ってたよね
Speaker 2
時間がめっちゃずれてても
Speaker 1
うんうんうん
時間は絶対支出してくださいって言ってたな
Speaker 2
そうね
でも今週俺10時間ぐらい寝てたよ
おー
土曜日
Speaker 1
寝れるんだそんな急に
Speaker 2
いやなんか寝て起きたら育つと
子供の寝かしつけのまま寝ちゃって
Speaker 1
うーん
Speaker 2
でいつもさ子供の寝かしつけ起きれるようにさ寝ても目覚ましをかけとくんだけど
アップルボッチでかけ忘れちゃって
朝起きたら朝だった
Speaker 1
いいねいいスッキリした
9時ぐらい寝て
Speaker 1
うん
Speaker 2
6時か7時ぐらい起きたの
Speaker 1
人間だ
Speaker 2
人間だと思ったね
クソ体調悪いから寝すぎて
Speaker 1
寝すぎて睡眠不細とか
解消できないらしいからね
Speaker 2
いやそうねなんかもう寝るしかないっす
Speaker 1
いや寝てください
Speaker 2
俺さもう2年ぐらいずっとこれ言い続けてんだよね
もうみんな信用してないよ俺の寝なきゃいけないねって言葉を
Speaker 1
それはそうだよね
ギリギリまで詰め込むんでしょうだってね
Speaker 2
そうで俺ももともとはね
睡眠いるのかどうかみたいな
会議的でしたから俺
Speaker 1
ああそう堀さんだったの
Speaker 2
堀さんだった
Speaker 1
やば
なんか意味わかんないな脳が疲れるって意味わかんないと思ってさ
Speaker 2
ってずっと思ってただって筋肉は物理的な動きがあるじゃんこうやって
なんか乳酸なるものがたまってさ
動かせなくなるのわかるんだけど
脳って物理的に動いてないから
なんか疲れとかないんじゃないかと思ってた
Speaker 2
だからエネルギーさえ導入してれば
ずっと動き続けるんじゃねえかなと思ってた
ラムネを食い続けてた時期あったんだけど
Speaker 1
やべえブドウ糖補給みたいな
Speaker 2
ブドウ糖が足りなくなるから脳が動かなくなるだけであって
っていうシンプルな期間だと
思い込み行動してた時期あったけど
Speaker 1
なかなか怖い行動ですね
Speaker 2
どうやらそういうシンプルな話ではないらしいよ
難しいねなかなかね
Speaker 1
睡眠はやっぱりねみんな
興味のあるところで
睡眠の番組もね
ちょっと今一時停止してますが
Speaker 2
コメント書き込めば始まるの
始まるかもしれない
Speaker 2
聞きたいですよみたいな
Speaker 1
そうそうそう
求められてない番組は作りませんっていう
俺のポリシーがある
Speaker 2
今一番求められてるでしょ
それは堀さん界隈でしょ
Speaker 2
今だって本当に睡眠は
Speaker 1
そうだよね
今とか明日とかないよねずっとだよね
Speaker 2
ずっとなんだけど
なんかやっぱ注目のが高いから
Speaker 1
そうかじゃあまず
初っ端は堀さんについてかな
Speaker 2
そう
なんかゲスト呼んでほしい
怖いからやめたほうがいいかな
ちょっと怖いな
Speaker 1
怖い人なの
Speaker 2
なんか怖いね
Speaker 1
なんかさ怒りっぽくなるんだらしいね
あの睡眠不足って
Speaker 2
そうそうそう
なんか最初はそうかなと思ってたけど
睡眠不足だから怒りっぽいのかなって思ってたけど
なんか普通にそういう性格っぽくもあるから
堀さん
Speaker 2
堀さんの場合はなんか
Speaker 1
支部長もちょっとやっぱりあれじゃない
睡眠不足でキレてんじゃないの
Speaker 2
AIに
Speaker 1
AIとか
多分知らずに人にもキレてると思う
Speaker 2
キレてるかな俺
Speaker 1
なんかちょっと
なってんじゃない
Speaker 2
俺そんなにね
キレないよ
Speaker 1
めっちゃ寝てたらもっとすごい
Speaker 2
もっと優しいかな
Speaker 1
ソフトな感じになるかもしれない
Speaker 2
ちょっと
そうね
どうやって睡眠時間を確保するか
Speaker 2
今週だけでもう寝れないの確定してんだけどな
そういう時期ということでね
Speaker 2
そうっすね
なんの話だっけ
そうだよ
違うよ 睡眠の話じゃないですよ
ローカルLLMの話ですよ
Speaker 1
そうです
Speaker 2
ローカルLLMでございます
どこまで話したっけ
もはやもう
Speaker 1
そうなんかパソコンに入れて
使えるじゃーんみたいなテンション上がって
Speaker 2
そうね
なんか説明してないことあったっけ
量子化の話はちょっとチラッとしたからいいや
Speaker 1
量子化はちょっと小さくするやつね
VRAM重視の結論と試し方
Speaker 2
結局まとめに入るか
まとめると
Speaker 1
はいはい
いきましょう
Speaker 2
VRAM大事ですよって話です
モデルを全部そこにぶち込んで
そこから動かしたいから
VRAMの大きさがいるんだけど
Speaker 2
別にVRAMに収まらなかったとしても
CPUオンロードで
CPU側のメモリにも乗せれるっちゃ乗せれると
基本的にはVRAMに乗せたほうが良くて
VRAMの大きさが
Speaker 1
めっちゃ遅くなる
それやると
Speaker 2
遅くなると思う
ボトルネックがそこになるから
Speaker 1
あんま良くないね
Speaker 2
あんま良くないけど
とにかく乗らないことには
Speaker 2
あんまりしっかり動かないよっていうのがあるので
高いパソコンだったりとか
Apple Siliconであれば
ユニファイドメモリという形になってて
CPUのメモリとGPUのメモリを共有する仕組みもあるので
そういうので乗せてあげると
意外と動くこともあると
なので
Speaker 2
最安値はもしかしたら
MacBook
Pro
MacBook Pro Maxなのかな
かもしれないと
Speaker 1
20万円中高
Speaker 2
ちょっとやってみたら
リスナーさんがやってるんでね
その結果をちょっと聞きたいところではあるんですけど
Speaker 1
聞きたいっすね
Speaker 2
もう安心してやるんだったら
GTX Spark100万円買っていただけると
Speaker 2
一番良いんじゃないかな
Speaker 1
やばすぎるな
これ何か使ってる人いたら話聞かせて欲しいな
Speaker 2
いやー何か意外とね
SNS見るとあるんだよ
Speaker 1
みんな使ってんの?
Speaker 2
みんな使ってる
Speaker 1
羨ましい?
Speaker 2
羨ましいけど
そうね
いやーすごいよな
Speaker 2
やっぱそこまで力を入れるのは素晴らしいなと思うね
Speaker 1
支部長まだね
色々なことに力を分配してるからね支部長
Speaker 2
そう
俺もねポンと自分の事業のお金で
あーちょっと買いましたわって言えるぐらい稼げるといいんですけど
まだそこまで至ってないんでね
Speaker 1
AIの人の文脈を濃くしていく?
Speaker 2
そう来年ぐらいにはねもう
ちょっとDGPX Spark置く場所なくなっちゃったな
Speaker 2
いっぱい買ってってなっちゃうぐらいの
リスナーさんに配っちゃうぐらいのね
配っちゃうかなみたいな
ヒカキンみたいな感じでね
スイッチ2配るぐらいの感じで
Speaker 1
いいね
今回の落ち着きLTの景品
DJなんとかスパークです
Speaker 2
今年俺の3Dプリンター製のトロフィーなのに来年DGPX Sparkなの
すごい飛躍だよそれは
Speaker 1
一周年で伸びるかもしんない
Speaker 2
確かにそのぐらいやっぱ伸ばしていかないといけないね
ヤバいな
Speaker 1
でもやっぱAI一年でどうなるか分かんないって言われてるじゃん
ってことはもうこの番組も一年どうなるか分かんないぐらいのさ
ちょっとワクワク感は欲しいよね
Speaker 2
いやそうね
Speaker 1
なんかもうこんな
なんていうのこの二次関数のグラフいらないのよ
バカンみたいな
Speaker 2
そうだからさもうね
だからフォロワーとかもさ
やっぱそのねちょっとずつちょっとずつだよ
もう1万人とか2万人とか
Speaker 1
そうだよね
それとかボンと目指していかないと
Speaker 1
うん何かが起きたらって感じだよね
Speaker 2
そうそうそう
Speaker 1
やることは淡々とさなんかさ
やっぱり誠実にやってればって感じな気はするんだけど
Speaker 2
まあそうねコツコツは大事だけど
きっかけ作りも大事で
Speaker 1
ああそうですね
渋丁はねよくイベントとか誘ってくれるけど
そうね
Speaker 1
そういうのも大事だなと
Speaker 2
ポッドキャストイベントにちゃんと出て
ポッドキャスト仲間を作るってのも大事だし
Speaker 1
いや一年結構出ましたよ
渋丁のおかげで3つ4つね
いやまだまだいっぱいあるから
Speaker 1
締めは単独イベントでね
Speaker 2
そうねあそっか
これ出てる時にはチケット締め切りしてますけど
Speaker 2
前日じゃね
ああ明日イベント?
Speaker 2
じゃない?多分
Speaker 1
そんなあれか
Speaker 2
そういうタイミングじゃないか
Speaker 1
ああ金曜日だもんね
そうでしょ
Speaker 1
明日イベントですよ
Speaker 2
いやあ
Speaker 1
来る人来る人
Speaker 2
いいね絶対やっちゃいけないのがさ
インフルエンザにかかるとかね
Speaker 1
ああやばいな
Speaker 2
ここからちょっと
Speaker 1
もう何も言わずに来てほしいもん
Speaker 2
じゃあ俺たちがね
Speaker 1
何も
もう俺も何も言わない俺
Speaker 2
いやそれは良くないよ
主催者側として良くない
何も
Speaker 2
フラフラ言うな
Speaker 1
俺はね引きこもってるんで病気かからないですけど
Speaker 2
そうね俺がちょっと気をつけなきゃいけないよな
いろんなとこ出てくるから
Speaker 1
そうだね
Speaker 2
ちょっとそうならないように気をつけます
Speaker 1
早くリモートで出演してもらいますけど
Speaker 2
リモートで
そうねやっぱね現地に行かないことには
Speaker 1
うん
Speaker 2
あっそうだごめんちょっと結論一個忘れてた
はい
Speaker 2
えっと
結論
Speaker 2
まあローカルLLM頑張ってやりましょうと
で大きいモデル作れない使えない人もLLMスタジオでちょっとね8ビリオンとか
ちっちゃいモデルを動かしてみるとモデルのサイズと性能
8ビリオンだとちょっとあれなんだけど
なんとなくこう使い勝手分かるんじゃないかなと思いますと
っていうのとえっとねあえてお勧めするのはクエンのモデルを
API経由で使うこともできるのね
ほう
そんな高くないんだけど
ローカルLLMがもしもあったらという前提で
クエンのモデルをAPI課金してちょっとこの自分
今AIに任せるタスクをそっちに振ってみるみたいな
Speaker 1
シミュレーションみたいなね
Speaker 2
そうそう別にクエンじゃなくてもいいけどねその場合はね
もっと安いモデルにだけど近しい性能のやつがAPIで使えるんで
そういうの試してみるといいんじゃないかなと思いますね
Speaker 1
イメージそうだよな
イメージ湧かないからあんまりやる気せんのだよな
Speaker 2
実際そのローカルLLMがあったらみたいな前提で
クエンのAPIを動かしてみるのはありだし
クエンはクエンでないクエンコードっていうのがあるのよ
Speaker 1
クエンコード
Speaker 2
だからクロードコードとかさ
Speaker 1
クロードコード
Speaker 2
コーデックスみたいなやつ
専用のハーネスがついたという仕組みがあって
クエンをクロードコードみたいに使いたいんだったら
クエンコードかあとオープンコード
Speaker 1
オープンコード聞いたことある
Speaker 2
オープンコードはクロードコードのオープン版みたいなやつ
でモデルが色々選べるね自由に
クロードとか何でも選べる
Speaker 2
そう他の中国系のやつも選べると
Speaker 1
はいはいはい
Speaker 2
リップシークとかも別に選べるんだけど
クエンコードはクエンに特化してチューニングされてるみたいな
そういうものをちょっと入れて使ってみるっていうのもアリだと思うね
それはちょっと重量課金になるから
ストックというか課金の量は気をつけなければならないけど
Speaker 1
それでイメージついたらじゃあローカルやってみるか
Speaker 2
このぐらいの性能のもので
当然APAで使えるモデルと自分のローカルで組みるモデルの性能とか速さっていうのは違ってくるんだけど
なんとなくローカルに落とすっていうのはこういうことかなみたいな
シミュレーションはできると思うからそれで
それはちょっとクエンコード少し触って
Speaker 2
いい感じでフォールバックしていけないかなっていうのを探ってみようかなと思ってる
って感じかな
Speaker 1
クエンコード
Speaker 2
そう
クエンコードもどのくらいの性能かわかんないけど
ちょっとね前言ったけどさ
トークンダイエット話みたいな
Speaker 1
はいはい
Speaker 2
トークンレコーディングダイエットしたいぜみたいな話したじゃん
Speaker 1
なんか言ってたねなんだっけそれトークンレコーディング
なんか記録してどれだけ使ったか
Speaker 2
そうLLMのトークンを節約するっていうことを
ちょっと突き詰めていかないといけないんじゃないみたいな
Speaker 1
はいはいはい本当思うわ
Speaker 2
その過程でちょっとねクエンコードの活用も少し考えてて
この前
Speaker 1
クエンコード使うといいの
Speaker 2
結構安いのよクエンコードクエンで
だからその大きい処理をクエンの方に投げちゃうみたいな
大きいというかタスクの部分を分解してクエンの方に投げちゃって
節約するみたいなねこともできんじゃないっていう話ね
Speaker 1
なるほど
Speaker 2
意外とこの前クエンのミートアップ行ったときは
使われてないんだけどあんまりAPIで使うのもいいんだよみたいなことを
Speaker 2
言ってたからありじゃんじゃないかなと思ったね
Speaker 1
なるほど
Speaker 2
その節約の一環としてちょっと使ってみようかなっていうのはあるね
Speaker 1
節約ね
Speaker 2
どんな節約どっちにしろ追加の出品にはなるんだけど
AI節約罠みたいなのあるよね
Speaker 1
節約してるつもりでどんどんなんか増えていくみたいな
Speaker 2
そうクロードコードとコーデックス両方で200ドル課金してるけどさ
交互になくなるもんなやっぱちゃんとゼロになるからさ
ちょっと節約したい
Speaker 1
200ドルプランだっけ両方
Speaker 2
両方200ドルプランなんだけど
それであれだね日中仕事しとってそれで全部なくなるの相当使ってるよね
Speaker 2
そう今週はねそのあれで結構使って
zoom参加できるAIbotみたいなやつを作って
Speaker 1
あそこを作ってくれたやつね
Speaker 2
そうあれで結構消費したのと
あと動画の編集が一本あったからそれで結構消費したかな
Speaker 1
動画編集をさせてる
Speaker 2
そうねちょっとだけどね動画編集YouTube動画を一本上げたからさ
Speaker 1
渋長チャンネル
Speaker 2
そう渋長技術研究チャンネル
Speaker 1
こんなことやってるね
Speaker 2
意外とフォローあるよチャンネル登録者7000人くらいいるだよ
私と樋口のチャンネルも
Speaker 1
7000人
Speaker 2
1万人を目指しております
Speaker 1
人気者だね
銀の盾は10万人
Speaker 2
10万人遠いよね
遠いね
動画滅多に出さんけどね
今回ちょっと動画を出したりした時にちょっと使ったから
Speaker 1
うんうんなるほどね
近況、登壇、チャイ作り
Speaker 2
そうあとそう
ちょっと今週静岡県の
Speaker 1
ああなんかツイートしてたね
Speaker 2
そう工業技術研究所に
Speaker 1
貴重講演
Speaker 2
貴重講演
Speaker 1
なんかこっついとこでやってるなと思って
そうAIエージェントとはみたいな話をしてきたんだけど
Speaker 1
ああそういう話をしたんだ
Speaker 2
そのシリアル作るのにちょっとAI使ったしみたいな
Speaker 1
結構じゃあAI系の登壇は多いじゃん
Speaker 2
多いね
Speaker 1
うん
Speaker 2
登壇は多いねだけどそのなんか
いやー100万円のPC使ってみたいなそういう話の場じゃなくて
AIってなんぞやみたいな
中小企業の方たちにこう話すって場かなどっちかって言ったら
ものづくりの世界で製造業でやってる
うんものづくり系の人たち
Speaker 2
そうだね
でもそれもシードル経由で来た話だけどね
Speaker 1
えーシードル多いね
Speaker 2
この仕事は静岡県の工業技術研究所の講演は
俺個人で受けたんだけど
Speaker 2
元々その技術研究所の人と知り合ったのは
シードル経由だったから
それでこうなんか頂いたって感じかな
AIの仕事も増えており落ち着きAIもちゃんと宣伝してきたんで
Speaker 1
ありがとうございます落ち着きAI
2年目突入ですよ
Speaker 2
ああそうだ突入しておりますね
Speaker 1
2年目何するみたいな話を本当にだからイベントでね
ちょっとしたいんだよね
していきましょう
Speaker 1
お願いします
Speaker 2
楽しくなってきてどう変化していくかもう爆伸びして
やっぱねポッドキャストなんちゃらアワードみたいなやつね
やっぱ取らないと
Speaker 1
そうだね
Speaker 2
ポッドキャストスタジオの博物をつける意味でも
でもこのAIで取れなかったらねなかなか難しいよね
Speaker 2
そうねでもそれこそ
Speaker 1
マニアックなテーマが多いから
Speaker 2
でもながらAIさんとかもねノミネスされてたやつ
Speaker 1
そうだねあれはあれか一時選考はリスナー投票
Speaker 2
リスナー投票なのよ
Speaker 1
人数での数の力か
みんなの力だなこれ
Speaker 2
いやでも今じゃ難しいな来年はちょっと間に合わないだろうな
再来年
Speaker 1
何が起こるかわからないところを楽しみに
Speaker 2
そうね
Speaker 1
いろいろシリーズ増えてきますから
Speaker 2
落ち着きシリーズが
落ち着きシリーズ今これ9月末でしょ
Speaker 1
2個ぐらい始まるんでね
Speaker 2
すごいねもう世の中落ち着かせようとしてるじゃん
Speaker 1
もう本当に理念は落ち着きだよね
なんか気づいてみたら
Speaker 2
もうすごいね落ち着き広がっていくじゃないですか
Speaker 1
落ち着きクラシックがついに始まるっていうのが
Speaker 2
始まる始まる作業をずっと俺何ヶ月も傷つけてて
本当吐きそうですねあれはねライセンス管理ね
あと落ち着きのブランディングっていうのが始まるんですよ
Speaker 2
いいね落ち着き思想としてね落ち着き思想の番組としては誇らしい限りでございますよ
Speaker 1
でまあそういうのもねいろいろうわーってなって
Speaker 2
落ち着きサミットね
Speaker 1
落ち着きサミットやりたいね
Speaker 2
いいね
Speaker 1
こんな感じです
ということでちょっと今日そんな感じの結論になりましたけども
Speaker 2
ちょっとね渋ジョーさんちょっとその情報古いよとか
私もあんまりパソコンローカルエレベのやつ詳しくないんで
間違ってる情報とかあったら補足していただけると
私も勉強になりますので嬉しく思います
あとパソコンはいつでも提供受け付けておりますのでよろしくお願いいたします
Speaker 1
はは
ねえ
Speaker 2
はい落ち着きAI古事記でございます
やっぱ物恋していかないとね
Speaker 1
いや本当大事ですよ本当に物が物のほうが嬉しいんすかでも
ああお金よりってこと
Speaker 1
金より物をくださいみたいな感じ
Speaker 2
金でも
結構渋ジョー物の提供多いよね渋ジョーなんかね
Speaker 2
いや物の提供多いよ多いけど
困るね
でも
Speaker 1
3Dプリンターいっぱいみたいな
Speaker 2
3DプリンターはいいよなんかAIボイスデコーダーとかね
Speaker 1
ああいっぱいね
Speaker 2
いっぱいあるんだけどさまだあと2件ぐらいレビューするんだけどさ
そうだ
買わないもんどれも売っちゃうとあれだけど
Speaker 1
そんないっぱい来るんだ
Speaker 2
うーん来るよ
Speaker 1
XとかXが多いな
いやあそうだねブログ経由で結構来るね
Speaker 1
ブログね
Speaker 2
ありがたい話ですけど
Speaker 1
いっぱいAIボイスデコーダー
Speaker 2
来れるならって言ってもらうけど
そんな変わらんよななんであんなハードなすんだろうなみんな
Speaker 1
うーん
Speaker 2
っていう
違いないんだハードに
Speaker 2
ボイスデコーダーだからね
別にマイク拾ってりゃ一緒じゃないすかみたいな
形ぐらいでしょ
Speaker 2
形とかどこにくっつけるかとあと充電端子
俺ひたすら言ってるけど
タイプBでタイプCで充電できるようにしてやって
オリジナル端子作んじゃねえっていう風に言ってるけど
Speaker 1
そうだね
薄さを出すためでしょあれ
Speaker 2
そう薄さを出すためにね
ケーブルの管理の方がめんどくさいから
薄くなった分ケーブル増えてるやんけって思うからね
Speaker 1
そうだね
はい
Speaker 2
というところで
本日はこんな深掘り会でございましたけども
普段はですね火曜日には
1週間のAIトピックを振り返る速報会というものもやっておりますし
多分この時点では
ダイジェスト版みたいなやつ
Speaker 1
落ち着き切り抜き
Speaker 2
落ち着きAI切り抜きが
Speaker 1
落ち着きAI切り抜きがね
Speaker 2
始まってるはずなので
新しい番組として始まってます
Speaker 2
どちらもぜひともですね2時間も喋ってますから毎回ね
それが切り抜かれてスピーディーに聞ける
ダイジェストで聞けると
Speaker 1
良いとこをとってます
Speaker 2
良いとこを聞き
良いとこがあったこの原液も聞くと
一粒で2度美味しい番組になっておりますので
ぜひとも皆さんよろしくお願いいたします
番組発行式ハッシュタグは
シャープ落ち着きAI平仮名で
落ち着きアルファベットでAIです
Speaker 1
はい番組の感想はxなどSNSで
ハッシュタグをつけて書き込んでください
今回の話良かったな
落ち着いたなという人は
星5のレビューを
スポーティファイアップル
お願いいたします
Speaker 1
概要欄にリンク貼ってありますので
さっきの切り抜きチャンネルも
スポーティファイアップルで
フォロー星5いただけると
嬉しいです
それではまた一週間
落ち着いて過ごしていきましょう
落ち着き
Speaker 1
お疲れした
ありがとうございました
Speaker 1
集中が限界突破してんな
Speaker 2
寝なくてよかったコーヒー飲んだから
眠くなくなったわ
Speaker 1
カフェイン効くんだねチャイじゃなくてね
チャイ続けてんの?
Speaker 1
どうなの?
やっぱりオススメできる?
Speaker 2
オススメできるけどむずすぎて
最近悩んでる
Speaker 1
そういう領域に行ったんだ
Speaker 2
お店で飲むじゃんチャイを
チャイを飲みに行くこともあるんだよ
Speaker 1
すごいね
Speaker 2
インターネットで調べると東京駅周辺にも
チャイを出してるお店があって
Speaker 1
めっちゃありそう
チャイ専門店
Speaker 2
そうこの前行ったのよ
女子しかいない
やば女子いるんだ
Speaker 2
そうお姉さまと
本当に若い
本当に若いと言うとお姉さんはいたしてるんだけど
お姉さま方と
女子高生みたいな
Speaker 1
女子高生とかもハマってる
Speaker 2
いろいろ中に突然の
全身緑のおじさんが現れて
Speaker 1
やばいね
Speaker 2
そこでチャイ飲みながら
全身真緑のパソコン開いてカチカチやってるみたいな
Speaker 1
それはなんか
自分でもやってる人みたいな感じなのかな
Speaker 2
何が?
Speaker 1
そうやって自分でも
自宅で入れちゃってるような人たち
いや違うよ普通にチャイを飲みに来てる
Speaker 2
すごいオシャレな
カフェだよ
コーヒー専門店いっぱいあるじゃん
Speaker 1
なんかアサイリのさ
ちょっとオシャレな高いやつ
そういう雰囲気
Speaker 2
そういう雰囲気
店舗にチャイのスパイスが売っててみたいな
高いんだよねめっちゃね
Speaker 1
高いんだ
コーヒーより安いのかな
Speaker 2
いや
種類が多いじゃん
混ぜなきゃいけないものの
シナモンカルダモンとか
ジンジャーとか
いろいろあるじゃん
でそこで飲んだものを
家で再現しようと思ってもなかなかできんくて
ああやっぱそうなんだ
Speaker 1
温度管理とか難しい
Speaker 2
多分
紅茶が違うんだろうな
Speaker 1
ああ
何が難しいの
配合?
もうやるのはただ
お湯入れるだけ
でも何分煮るかとかもさ
Speaker 1
なるほど時間管理
Speaker 2
時間管理もそうだし
Speaker 1
コーヒーは温度とさ時間じゃん
そんな感じ
Speaker 2
そんな感じであと分量
Speaker 1
分量
Speaker 2
だからそのシナモンをさ
砕くのよこれ砕いてグルッこうやってこすってさ
Speaker 1
やばいな
Speaker 2
で混ぜるんだけど
何粒入れるとかもあるし
どのぐらい煮出すかもあるし
紅茶もどのぐらい煮出すかもあるじゃん
Speaker 2
で牛乳を
Speaker 1
結構一杯飲むのに30分ぐらいかかるの
Speaker 2
ああ
そうだねやっぱ30分かけたらかけすぎかな
15分とかかなでも
Speaker 1
ああでもそんなもんで飲めるの
Speaker 2
どのぐらいさ
砂糖入れるかとかさミルク入れるかもあるし
結構ね
頭使うねなんか
Speaker 2
そうなんかそのコンビネーションみたいなやつを追求するのが
まあ確かに面白いよ
なんだけどねいまだに
なんかお店で飲んでああうめえなって思ったさ
スタバとかでもチャイあるんだよね
あるんだチャイティーラテみたいな
そうチャイティーラテみたいな
ああいうのと同じ味を出してるんだけどできないよね
Speaker 1
うーん
むずい
難しいんだね
それ腕なのそれは
素材というより
Speaker 2
腕なのかファクターが多すぎてわかんないんだよね
腕なのかそのチョイスした
スパイスがそもそも
そんな良くないのか
紅茶が良くない
紅茶が良くないと思うんだよな
Speaker 1
ベース紅茶は
Speaker 2
紅茶の煮出し方も
良くないとか
色々あると思うんだよな
なんかまずって
いい自分で作って
きついねそれ
Speaker 2
冷やしは飲める
Speaker 1
手出すと沼っぽいな
Speaker 2
いやでもちょっと面白い
唯一人間らしい営み
Speaker 1
ねえ
せかせか生きてる中のちょっとの
Speaker 2
その間に
ホットキャスト撮ってんだけどさ
煮出しながら
Speaker 1
撮ってんだ
はい
Speaker 1
ということで
さよなら
01:45:06

Comments

Topics in this episode

All topics →

Explore conversations about each topic across podcasts.

Scroll