ローカルLLMに必要なPCとQwen3.8-27B
しぶちょー
おちつきAI
かねりん
落ち
着きAI
しぶちょー
落ち
着きAI
AIエ
ジニアのしぶちょーです
かねりん
AI素人のかねりんです
この番組は、日々のAIニュースで驚きつかれたあなたに、ゆっくりじっくりAIを学んで、落ち着いていただくビデオポッドキャストです
しぶちょー
はい、ということで始まりました
おちつきAIラジオ深掘り回でございます
一つのテーマについてゆっくりじっくりと深掘りしていきましょうと
いう感じでございますね
かねりん
そうですね
しぶちょー
じゃあ早速本題に入っていきましょう
今日のテーマはこちら
ローカルLLMを日常活用するために必要なPCってどんなん?
でございます
今まで結構ローカルLLMの話をしてきてはいたんですけど
具体的なハードウェアというか
そもそもローカルLLMを動かすのに
どういうハードいるのみたいな話をあまりしてこなかったので
スペックってどういう風なものがあって
かねりん
パソコンの話ですか
パソコンの話
高いよね
しぶちょー
高いよねっていう話をしていきたいなと思います
かねりん
ガジェット紹介会
しぶちょー
いやそんな具体のガジェットを紹介するわけじゃないんだけど
パソコの何の性能が
ローカルLLMを動すときにいるの
みたいな話
ちょっと色々調べてきたので
していきたいと思いますが
私も別にローカルLLMを
LLMが言えないな
LLMを
あの
ガッツリ動かしてる人間ではないので
ああそう
別に活用してないからね正直
実体験というよは
調べてきたことの話になるんだけども
かねりん
LLM
LL
しぶちょー
Mじゃないのよ
ローカルLLMじゃないのよ
かねりん
そうかそうか
しぶちょー
かなり私もクラウドLLMでしょ
かねりん
そうだね
ちょっと使ってるけどね
なんかねちょっとしたやつ
しぶちょー
ローカル?
かねりん
なんかわかんない
文字起こし
ウィスパーとか
しぶちょー
あーまあまあ
かねりん
ウィスパーはローカルなんですか
しぶちょー
ウィスパーローカルだね
LLMじゃないけどね
かねりん
LLMじゃないんだ
じゃあLLMは使ってないですね
しぶちょー
そうですウィスパーローカルで動く
AIで文字起こしAIでございますから
LLMでは
ございませんけども
そうあのだから普通に
ChatGPTとかさ
Claudeみたいなやつね
がローカルで動かせますよ
っていうのローカルLLMだと思っていただければいいかなと思うんですけど
かねりん
マシンがなくて使えてないイメージ
しぶちょー
そう
じゃあ実用足り得るぐらいのレベルの
いわゆるオープンウェイトのローカルLLMを
自分の家で動かしたいと思ったら
何がいるんだみたいな話を今日はして
いきますと
かねりん
具体的にね
しぶちょー
そう
かねりん
なんもう100万円ぐらいのパソコンがいるんでしょうぐらいしか知らないんだよね
しぶちょー
あねいるんだけど
最安値で言ったら
多分2,30万できるんじゃないかな
みたいなところもある
かねりん
あ、そうなんだ
しぶちょー
ただちょっとこれは色々難しいんだけど
そう
色々難しいのよ
っていう話も含めて
ちょっと今日はローカルLLMって
そういうスペックいるんだね
ぐらいの
私もちょっと勉強中なんでね
そういう流度で皆さんと理解を深めていく回でございますけども
よろしくお願いします
かねりん
使ってみたい人はじゃあ参考にして買ってください
しぶちょー
そう
参考にして買ったりとか
しぶちょーさんそんなローカルやりたいんだったら
差し上げますよみたいなのも
全然受けけておりますから
かねりん
裏テーマね
しぶちょー
か
この前さ
かねりん
来た
しぶちょー
何が
かねりん
スポサーか
しぶちょー
そういう話じゃないです全然
かねりん
視
聴者の人にプレゼントかと思ったよ
しぶちょー
この前からあげ先生と
ゲ
ストにさ
自分のポッドキャスト来てもらって話したんだけどさ
やっぱなんか
AIの番組やってて
ローカルLLM動かしてないと
ちょっとダメですよみたいな
かねりん
言われた
しぶちょー
そう言ってたから
やっぱポッドキャストに
AIのポッドキャストには必需品
だと
かねりん
そうなの
しぶちょー
ということは
AIの番組やってるからローカル動かしてますよねと
ポッドキャストに必需品ということは
ポッドキャストの
設備になるわけですよね
かねりん
どういうこと
何を言ったらいいんですか怖いんですけど
あんこっち見ないでください
ここ先はこっち向いてるの
しぶちょー
ポッドキャストだからかねりんが
収録機器とかマイクとかを持ってるのと
同じように
ポッドキャスト収録
AIのポッドキャスト収録に必要なのが
ローカルLLMという話になってくると
やっぱかねりんさんに
ちょっと買っていただいた方がいいんじゃないかな
っていう話を
かねりん先生としましたね
音声編集ソフト
高いのあります
とかマク
とかねスタッフ人いるじゃないですか
ローカルLLM用の
PCの
これもやっぱ全部ポッドキャストグッズなんで
かねりん
ちょ待って
そんな活用できるってこと?
しぶちょー
いやだから
だからあのAIの番組をやってるのに
ローカルLLMを構築していないという
かねりん
そういうただその一点
しぶちょー
そストーリーだけ
かねりん
いいよなんかすげえ活用できるとかじゃないんだ
しぶちょー
いや活用はできると思うよ
かねりん
多分イメージが湧かないんだよな
イメージ湧ったらワンチャンあるよね
しぶちょー
えっとね一応今回これを
入れるためにはどうしたらいいかっていう一個テーマを
テーマというか具体的にこのモデルいいよねっていうのを
持ってきたんだけど
一番
界隈で
これだよねって
言われてるモデルがあって
ローカルLLMといえば
それが
Qwenの
3.8の
27ビリオン
かねりん
この間ちょっと話に出たやつだね
しぶちょー
そうク
エン
かねりん
中国のやつだね
しぶちょー
そう中国のやつです
アリババという会社が作っている
Qwenというモデルがあるんだけど
まあオープンウェイトでねすごく有名なんだけど
Qwenの3.8の27ビリオンっていうモデルが
結構やっぱローカルを運用する人にとっては
いやこれですよねみたいな
これがいいんですわみたいなちょうどいいと
そのなんか何がちょうどいいかというと
なんかもう研究所レベルの大規模なサーバー用意しなくても
個人PCで検討できるぐらいのギリギリのサイズかつ
性能としては
多分その
Opusよりはいかないけど
ソネットぐらいはあるよねみたいな
かねりん
ソネットまで来ちゃう
しぶちょー
ぐ
らいはあるんじゃないかみたいな
なのにローカルでガンガン動くみたいな
かねりん
個人PCレベル
ギリ
しぶちょー
個人PCじゃない
個人で買うことができるPC
非常に重要ですよ
個人PCと個人で買うことができる
PCの間には
無限の差があるのね
かねりん
そうだよねワンチャンは今
うちのPCでできるのとか思っちゃったよ
しぶちょー
個人で買うことができるPCっていうのは
個人の資産で手が届くという
意味合いになってくるから
かねりん
どれぐらいなんすかそれって
しぶちょー
個人で車とかみんな買えるじゃん
だからそのぐらいの感覚
かねりん
車の代わりにこれを買おうみたいな
しぶちょー
買おうみたいなね
っていうぐらいの
かねりん
車売ってこれ買わなきゃいけないんじゃない
しぶちょー
本当にさ
しぶちょーさんとかローカルLLM
買うために
PC買いましょうよとか気軽に言ってくるんだけどさ
金がないんですよ本当に
マジで
金かかることがいっぱいあってね
車が趣味なんですよ
かねりん
そうだよね
車自分で修理したりしてるんでしょ
しぶちょー
かつてはね
最近は時間がないし
放置気味なんだけど
車検だったんですよ今年も
かねりん
車検自分でやの
しぶちょー
いや車検はねショップにお願いしてる
俺の車特殊すぎて
ディーラーとか出せないから
かねりん
えめっちゃ古いやつ
しぶちょー
古い
R32GTR
っていうですね
かねりん
この間一個見たよね
しぶちょー
この間見せたのはホンダのビートなんだよ
うんうんうん
ホンダのビートも30年前くらいの車なんだけど
こういうの
もう一台持ってR32GT-R
って車があるんだけど
かねりん
そっちがメイン
しぶちょー
こっちがメインというか一番やっぱ好きな方だね
かねりん
好きなんだ
しぶちょー
高いよ
普通に今売ったら
買おうと思ったらさ
600万とか700万じゃ買えないと思う
かねりん
やばすぎ
しぶちょー
めっちゃ高いよ
かねりん
すぐに売ってどでかいコンピューター買ったら
しぶちょー
いやいやそんなにこれ乗るから
乗っていくために
今維持してんだけど
結局
この車検出したら
ちょっと不具合が見つかましてね
かねりん
そんな古い車なんか
不具合めっちゃ出そう
しぶちょー
めっちゃ出るのよ
不具合は出るのに部品が出ないから
高いんだ部品が一個一個
かねりん
外車?
しぶちょー
日本車だよ日産です
かねりん
日本車なんだ
しぶちょー
日本車だけど30年以上前の車で
名車なんだけど
部品が出ないんですよR32とはいえ
かねりん
ちょ待って
検索したいんだけど
R32
しぶちょー
R32GT-Rって検索してたわ
かねりん
GT-Rですか
これはもう何車好きな人はみんな知ってますよね
しぶちょー
み知ってます
ス
カイラインの
GT-Rが復活したという
かねりん
渋いです
なんか昔この車の
おもちゃ持ってた気がする
しぶちょー
そうだよ結構名車だよ
めちゃくちゃ人気
かねりん
ゲームとかにも出てきてそう
しぶちょー
グランツジとか出てくる
かねりん
かったなんかよくチンピラが生きてる
なんかアメ車みたいなやつじゃなくてよかった
しぶちょー
じないもうかっこいいスポーツカだけど
これをね維持するのに
すごくお金がかかわですよ
もう今まですごいお金をかけてきたんだけども
今年も車検で
あ橋本さんと
一発死んでますねと
6気筒なんですよね
6気筒って言って6個爆破する部分があるんだけど
1気筒死んでると
で1個火が出ない
かねりん
エンジン
しぶちょー
1個死んでて5発で走ってますと
1個復活させるために
スパークプラグと
あと
コイルとかを全部変えなければならないと
めっちゃお金かかりますよと
どうしようみたいな
かねりん
でどれくらいかかんの
しぶちょー
いやーちょっとね
まだわかんないってわれた
かねりん
100万円くらい
しぶちょー
そんなかかんない
車検代は10万くらいかかるじゃ普通に
それプラス20万くらいかかってくるのよ
かねりん
怖い怖
い怖い
しぶちょー
でまだ
ねまだまだ
このエンジンのタン
そのガ
ソリンタンクも
樹脂だからそれも割れてきますよ
それ変えたら100万円コースだったりとか
すごいのよもう
あらゆるとこが壊れると
かねりん
すげえ乗り方してんの
しぶちょー
普通に乗ってるだけで壊れてくのよ
かねりん
うーん
もう古いからってことそもそも
しぶちょー
そうだねまあ人間に例えだったら
80歳のおじちゃんに全力疾走させてるようなもんだからさ
かねりん
なんかもうほんとスパルタだよね
しぶちょーって
しぶちょー
あらゆところから崩壊してくる
かねりん
AIにも
車には優しそうだね
AIにはパワハラするけど
車はよしよししてそう
しぶちょー
物理的なものがあるから
物理的なね
車を無知にすると
自分に返ってくるんだよお金として
かねりん
しっぺ返しが
しぶちょー
しっぺ返しが普通にね
メンテナンスがサボるとね
っていうのでお金がかかるから
いつもね
今振返ると
この金額あったらパソコン買えるなとか思うんだけど
かねりん
普通に買えそうだよね
しぶちょー
ローカル
この車売ったらDGX Spark
後で説明するけど
いいパソコいっぱ買えるなと思いながらも
物理ですよね
メーカー
パソコンも物理だよ
パソコンも物理だよ
かねりん
走るパソコンにしたら
しぶちょー
タイヤが付いてないと
やっぱね機械とは言えないから
移動しないとやっぱ
っていうのね
かねりん
車にAIくっつけるみたいなことやってみたらいいじゃん
しぶちょー
車にAIね
相性悪いんだよな
熱も持つし
そういう人もいるけどね
なんかこう
GPSつけて
トランプ
キングするみたいな
かねりん
車とAIは真逆みたいな感じなのかな
しぶちょー
真逆でもないけど
昔の車だとね
なかなか難しいね
い
ろいろこう
センサとかつけれるんだけどね
やると思えば
はいということでちょっと話を戻しますけど
そうなんでちょっと
パソコン買えないんですけど
かねりん
なるほど車があるからね
しぶちょー
でもかねりんがね
ポッドキャストスタジオ用の機材として
ローカルLLM
最高だぜって
いう風に
かねりん
AI会話なんてさ
さあもう買って半年でなんか古いですね
みたいになっちゃうじゃん
レンタルしたいよね
ないんすかねレンタル
しぶちょー
あーレンタルね
かねりん
買いたくないよねもう
しぶちょー
だからさそうそう
無期限レンタルみたいなね
なんかあるよある
かねりん
あるんだ
しぶちょー
スポンサーとしてもらってみたいな
無期限に貸しますみたいな
かねりん
そういうのね
渋中ワンってそんなんいっぱいありそうなのね
3Dプリターかのごとく
しぶちょー
3Dプンターはみんなくれるんだけどね
かねりん
挟むのくれないんだ
しぶちょー
やっぱりAI系の発信足りてないのかな
しぶちょーとしてAI系の発信してないからさ
SNSでは
かねりん
そうかもうちょっとAIに重心置いたら
しぶちょー
そうなんだよね
かねりん
おちつきAIももっとバーンって
いかないと
しぶちょー
そうなんだよねだからこういうソフト作りました
意外とやっぱメカの話ばっかだから
かねりん
うんXとかもそうだよね
結構ものづくりの人文脈
強いよね
しぶちょー
AIの話誰も食いつかのよ
びっくりするぐらいエンゲージメ低いから
かねりん
やっぱりフォロワーの
しぶちょー
フォワーのやっぱ種類がさ
AIじゃないんだよねみんなね
かねりん
まあ
しぶちょー
でもいいけどね別にそこを狙ってるわけじゃないから
はいなんで
かねりん
AIンニアもちょっと
しぶちょー
せめてアピールして
かねりん
マシンをもらおうの回ですかね
しぶちょー
でもマシをもらおうとしてる人には
多分ねくれないんだろうな
かねりん
そうか
自分でガチガチやってる人じゃない
しぶちょー
ある環境でこんだけやりましたみたいな
こいつにPC
渡せば
すげーことできるんじゃないかみたいな
なんか
その
いいパソコンあったらこういうことができるのに
みたいなこと言ってる人に
渡したくないよね
今あるもので
こいつに限界突破してもらえば
すごいことができるんじゃないかっていう風な期待感を
持たせないといけないんじゃないかなと
俺はもうちょっと
今パソコでできるバカなモデルで
どこまでできるかってことをやらなきゃいけないんじゃないかなと
思うんだけども
かねりん
結っぱいあるもんね
しぶちょー
そういうものは
思うんだけど
ただ現実問題
その
いわゆる
フロンテアモデルに近い性能を出すような
モデル
かねりん
フロンテアモデルは
フェルとか
フェルとか
しぶちょー
Anthropicのモデルとかね
Claudeとか
ChatGPT
全般を表す言葉なんだけど
ああいうね本当に
ちっちゃいモデルじゃなくて
ある程度動くよね
っていうモデルの中で一番使いやすい
って言われてるのが
クエの3.8の27ビリオン
みんなここいいよね
っていう風に言ってるので
じゃあこれを
動かせるための
パソコンどのくらいのものを用意しなければならないのか
という話を
ローカルLLMに必要なスペックと
共に学んでいこうという
そういう話でございます
かねりん
ワンチン
なんとかしたいな
しぶちょー
まずQwenとは
なんぞやという話さっも言ったけど
アリバマっていう会社が開発しているAIモデルと
Qwen自体は
2023年から
運用が始まっているんですけども
Qwen2Qwen2.5と
進化してきて最近
今年だよねQwenの3.8
27ビリオンっていうのが8月ぐらいかな
にこう
公開されましたと
結構ねコミニテも盛り上がってて
Qwenこの前Qwenのさ
イベント行ったのよ実は
かねりん
あら
ちゃんとしっかり潜入してんじゃん
しぶちょー
Qwenのねジャパンミートアップみたいなやに
東京でやってたから
すげ頑張って行きて
次の日メーカーフェアって
展示会あったんだけど
その前の日にちょっと乗り込んで
行きました
かねりん
あのイベントの前に行ってたんだ
日本語通じんの
しぶちょー
もちろん基本的には日本人
ばっか
かねりん
誰でも参加できるんですか
それ
しぶちょー
できるよ
かねりん
行けば参加できるんだ
しぶちょー
なんかできるけど
さすがに本当はその後
アリバマの人とかもいたから
交流したかったんだけど
次の日の展示会の準備があったから
交流会はささかとちょっと抜けてきちゃったんだけど
なるほど
でもその中でやっぱ
Qwenのこの3.8の27ビリオンなんですわ
ローカルで動かす理由とコスト
しぶちょー
やっぱ一番いいのはみたいな
これをどう使いこなそうみたいなね
話すごく盛上がってました
みんななんでローカルLLMを構築したいかというと
コストダウンです
かねりん
ああやそこなのね
ローカルで回せれば電気代だけでいけるってことよね
しぶちょー
そう
今までやってたタスクを
なんとか分解して
Qwenに触れる部分はQwenに
触らせるみたいな
っていう使い方ができれば
すごくいいよねと
かねりん
この間のJevみたいなもんで
分解できないとそもそも
ダメだね
どこをローカルにするのか
しぶちょー
これはちょっとね
安いモデルもいいよねみたいな
コンビニF1カー
F1カーでコンビニ行ってませんよねみたいな
かねりん
でもさじゃああれだね
いくらコストダウンできるのか
計算してすれば
100万円も安いかもだって話だよね
しぶちょー
そうだね
かねりん
100万円安いってそんなことないわな
月3万で結構使えるんだ
しぶちょー
結局
何と比較するかっていうと
今だとかねりんの場合は
Claudeの課金とOpenAIの課金で
かねりん
トークンで
しぶちょー
計算することになるじゃん
かねりん
トークンでそうだね
しぶちょー
例えばローカルLLMで
トクンを節約できたとしても
出費って減らないんだよね
アウトプットは増えるんだけどAIによる
だから今まで使ってた分
Qwenに投げて
ローカルで処理できる分
また新たに
Claude Codeと
Codexが使える枠が増えるわけじゃん
かねりん
またなんかやるんだろうな
しぶちょー
金額的なメリットが
普通API限りで使ってる人たちからするとあるんだけど
かねりんの構成だと多分出てこない
かねりん
その月額サブスクだからね
しぶちょー
そうそうそうそう
値段って感じでは出てこないんだけど
かねりん
めっちゃ減ったら片方切るとかあるかもしれないけど
しぶちょー
そうだねそういうことはできると思う
なんでそもそもローカルLLMを頑張ってやろうっていう人たちは
まずそのローカルで動くから安いよねと
安いとか値段が気にならないのと
ローカルで処理できるからセキュリティ面も安心
送ってないからね
かねりん
からそういうなんかサービスやってて
API繋いでる人とかが
APIじゃなくてローカルのこっちで回そうみたいな
そういう使い方するってこと?
しぶちょー
いやまあ基本的には自分の処理だと思うよ
かねりん
自分用
しぶちょー
なんかこのウェサービスを提供していて
その自分のローカルだけで全部処理してやのは無理だと思うから
そのなんか数人しか使わないよっていうサービスだったらいいんだけど
かねりん
なるほど
しぶちょー
アクセがこうバーって入ってきたら
多分全然処理しきれないと思うから
基本的には自分のタスクをやらせる
っていうところでいろいろ
使えるといいんじゃないかなって感じかな
かねりん
それじゃあ割とみんなもAPIじゃなくて
サブスクの範囲のやつの
話じゃないの
みんな
しぶちょー
みんなって金と一緒だってこと
かねりん
マックス200ドル
プランの中でやってるから
金額的には
別に減らない人
が
しぶちょー
多い企業納入の場合は
ちょっと変わってくるね
企業で
Claude Codeとか使ってるときに
多分API課金でやってる人も多いから
会社が
そこでローカルをちょっと使いましょうみたいな話も
Qwenのミートアップではあったね
個人でやってる人たちは
節約というよりは
どっちかって言ったらわざわ
ローカルを構築してるってことは実験的な意味で
構築してる人の方が多いから
テックな部分の話だと思うけど
でもやっぱそのこの前
Fableがさ輸出停止になった
みたいなこともあるじゃん
ああいう感じでなんか障害があったりとか
なんか政治的なところで
AIが使えなくなる可能性もあるから
ローカル
でこう運用する
術を身につけとくっていうのは
大事だよねという話はある
かねりん
なるほどね
しぶちょー
っていうところではいローカル
いろいなメリットがある
今後やっぱ
よりタスク特化していったりとか
大きいモデルじゃなくて
もしもこう
フロンテアモデルの
性能アップを一回ちょっと減速しましょう
みたいな話あったじゃん
あの後なんかまた
Anthropicが新しいモデル
今開発中ですみたいな感じで
どんだけ2枚時代なんだみたいな話もあったんだけど
かねりん
そんな話だったっけ
しぶちょー
その話は言ってないけど
そういう噂があって
お前減速しようって言ってたのに
え?みたいな
そういう雰囲気になってて
かねりん
なるほど
しぶちょー
はあるんだけど
まあまあそれでもやっぱこう
ローカル
が今後活用していく
ことがどんど多くなるかなって思うから
今うちローカルやっといたほがいいよぞ
かねりん
はいはいはい
しぶちょー
という感じでございますね
かねりん
このさQwenの一番大きいのが
なんだっ20何とかビリオン
しぶちょー
いやもっと大きいあるのよ
えーとね
95ビリオンがある
かねりん
95ビリオ
しぶちょー
Qwen3.8 2.4Tっていうな
2.4T
かねりん
これ
サイズ違いでいいろあるよね
8ビリオンとか
しぶちょー
8ビリオンもあるよ
かねりん
ゴミこれ
しぶちょー
ゴミではないけど
やっぱ一番
8ビリオンだったら
今のパソコンに入るのよ
かねりん
なんか今入りそうだな
しぶちょー
やっぱねその
実用に大売りそうだな
っていうレベルが27ビリオン
8ビリオンぐらいだと
なんかファインチューニングして遊んでやろうみたいな感じになるんだけど
27ビリオン
270億パラメーターね
27ビリオンってことは
そのぐらいじゃないと
かねりん
27ビリオン
しぶちょー
今日はQwenの
3.
8に27Bが動けば
なんか
ちょっとできるねみたいな感じになるっぽい
かねりん
性能的にね
しぶちょー
分か
かねりん
りました
CPU・GPU・RAM・VRAMの基礎
しぶちょー
じゃあこの27B
こいつが動くような
もの
と言うPCになるんだという話ですけど
はいありがとうございます
その前に
その前にですね
パソコンのスペック
学びましょうみたいな話ね
用語がいっぱ出てくるんで
前もって解説しておくと
CPUですね
CPUは分かるよね
かねりん
脳みそね
しぶちょー
脳みそです
GPUね
これも分かるね
かねりん
なんかあれだね
画像を描写するやつ
しぶちょー
画像を描写するやつですね
並列計算というのが得意な
そういう処理のユニットでございます
かねりん
よくゲーミングPCにやってるやつ
しぶちょー
そうゲーミングPCはもうGPUが欠かせないと思
GPUといえばNVIDIAと
っていうのがありますと
まあCPU GPUはねなんとなくわかると思います
あとはRAMですね
RAM
メモリです
かねりん
メモリ
しぶちょー
もう一個VRAM
かねりん
これだよなポイ
しぶちょー
ビデオRAM
これが結構ポイントで
かねりん
これはGPU的なとこに付いてるRAM
メモリー
しぶちょー
GPUのメモリーみたいなものでVRAM
かねりん
ここのサイズが
大きいとなんかでかいモデル
詰めるというイメージです
しぶちょー
その通りです
かねりん
あんまりよくわかってないんだけど
しぶちょー
本当にまさにその通りで
VRAMの大きさが
かなり重要になってくると
かねりん
グラフィックボードに
メモリ挿したいもんな
使えないのこのメモリーみたいな
メモリーはでかいじゃん
でかいのよ
でもなんかグラフィックボードの
VRAMは小さくてさ
なにこれ
しぶちょー
ここら辺もね結構いろいな技術があるのよ
だからねここもねいろいろ
考えようはあるんだけど
かねりん
これが高いんだよね
このVRAMのでっかい
グラフィックボードが
しぶちょー
まさにその通りです
かねりん
こんなどれかい戦艦みたいなの
プラモデみたいなのやつでしょ
しぶちょー
買わなければならない
かねりん
おちあいさんが炎出てたじゃん
燃えたとか
しぶちょー
よく燃えるんですよみたいなこと
よく燃えるっていいの?みたいなこと
これそうなんですよ
このGPUはよく燃えるんですよ
みたいな
かねりん
みんなコメントしてたけど
しぶちょー
よく燃えるって済むの?みたいな
おちあいおうちさんってね
どっちかって言った天才肌でさ
おちあいおういすげー常識を
逸脱してるぜみたいなイメージだったけど
おちあいおうちさんが
常識的なコメントしてるのは面白かった
燃えるっていいのみたいな
そうだよなみたいな
そうそう
かねりん
ガンガン回ってるイメージだね
しぶちょー
そう
かねりん
ああいうグラフィックボードが
しぶちょー
かねりんが言ってくれたからこのまま
ちょっと話を進めると
大事なのがですねこのGPU用の
VRAMの
大きさ
になりますと
で
基本的には
ロ
ーカルLLM
で持ってきた
モデルの全部を
VRAMに入れて
それで推論をさせる
っていう感じなのね
かねりん
なるほどね
しぶちょー
だからこのVRAMの大きさが
そのモデルがまず全部全部
乗り切らないと
まず動きませんよみたいな
そこになってくるから
このVRAMっていうのが非常に重要になってくる
なん
でVRAMに載せたいのかと
さっも言ようにGPUで処理したよね
GPUってのはグラフィック用の
処理のユニットなんだけど
並列計算というものができますと
並列計算というのは
そのままの意味で並列で計算できますよみたいな
かねりん
一気にいけると
しぶちょー
別にCPUでも並列計算できないわけではないんだけど
いっぱい
ちょっと
C
PUほど賢くはないけど
計算能力を持ってる
ちっちゃい子供たちがいっぱいいて
かねりん
なるほどね
スイミーだ
しぶちょー
用意どんでバーっと計算できるみたいな
CPUはでっかい魚が
一匹ボーっとサメみたいなやがいるみたいなね
そういうイメージだと
LNMはちっちゃい計算の繰り返しなので
はい
そういう一個一個の計算そんなに難しくないから
かねりん
だからいっぱい計算機があった方がいいみたい
しぶちょー
あった方が全然いいと
なのでGPUからすぐ読み出せるVRAMに
そのLLMのモデル乗っけて計算して
その推論していくというか
生成していきたいよねっていうのがあるから
VRAMが大きい方がいいと
でもCPUに乗らないわけじゃなくて
CPUのそのRAMにモデルを乗っけて
でC
かねりん
PUで
しぶちょー
推論させていくってことも当然できると
実は
かねりん
要はRAMって普通のメモリーだよね
しぶちょー
そうメモリーボーンって乗っちゃって
CPUで
動かすってこともできるんだけど
その時どうなるかっていうとちょっと遅いんだよね
めっちゃ
かねりん
CPUだから
一個一個やっていくんだよ
しぶちょー
トークンパーセックっていう
単位があって
1文字を何秒で
生成できますかみたいな
それがLLMローカルLLMの
指標の一個になるんだけど
これが
ね
多分20とか30ぐらいになってくると
1秒で20文字
30文字出てくると
結構いいよねみたいな
なんだけど
CPUで処理しようとすると
ちょっと違うモデルの差なんだけど
例えば
GPU
RTXの4060かな
で処理すると
40トークンパーセックだったのに対して
同じ処理をCPUにさせると
7トークンパセックと
5倍ぐらいの差があるよと
まあ5倍という
まあ場合によって変わるんだけど
CPUで処理させると
1秒間に7文字ぐらいしか出てこないから
すごい遅いのよ
実用に耐えら
れないと
かねりん
GPUでやるのが基本なんね
しぶちょー
ちなみに別にRAMにも載せなくていい
実は
ストレージ側に
モデルがあっても
別に動かせなくはない
かねりん
そうなんだ
SSDとかね
めちゃめちゃいっぱい載せれるじゃん
しぶちょー
その代わり1文字
20秒とかかる
かねりん
その読み出しで
そこの
しぶちょー
いちいちモデル全部読み出して
かねりん
ちょっと遅すぎるね
しぶちょー
だから使えないの実質
かねりん
1秒20文字
20秒で1文字
しぶちょー
20秒で1文字とかかかっちゃうらしい
かねりん
全然ダメだね
しぶちょー
SS
Dに全部モデル保存して
CPUで推論しようと思うと
ダウンロードしてきて
ダウンロードとかそれを持ってきて
推論してみたいなことを
いちいちやってると
めっちゃ時間かかるみたいな
かねりん
なので
しぶちょー
実質じゃあ使えるように
したいんだったらやっぱGPUの
VRAMにモデルを乗っけて
GPUで推論させるっていうことが
必要になってきますと
なんですが
これまたちょっと
難しいところが
例えば16ギガですよと
GPUのVRAMが
モデルのサイズが16ギガですよと
じゃあ乗りますねと
いう感じなんだけど
やっぱね
そもそも
推論以外にもいろいと
容量を食うから
16ギガの
VRAMに対して
例えば15ギガとかのモデル乗らないのよ
乗りそうなんだけど
かねりん
乗らないんだ
ギリギリダメ
他のことできなくなっちゃうの
他のことできなくなっちゃうし
しぶちょー
そもそも
ロー
カルADNを動かす
時にもキャシュみたいなやが
たまるのねKVキャッュって言って
今までこう
推論してきた
生成してきたものを
覚えておく
前に読んだトーンを覚えておくみたいな保存領域も
必要で
そういうものが結構
重なってくると
容量を取ってくるのね
なのでそのモデルの大きさ以上に
スペースが必要になってくるから
結構1個余裕を
持ったサイズにしないと
なかなかこう意外と乗らなかったりとか
うまく動かなかったりすると
パンパンダメなんだ
パンパンダメなんですよね
24とか32とか
っていうGPUを
積んでいかないと
パッと動かないよねってことがあると
あとGPU同じでも
メモリの帯域幅
だよねどれだけ
早く処理できるか
みたいな
処理のメモリの
帯域もあるから
何Hzみたいな
そういうとこもちょっと見ておかないといけないけど
それはよっぽど
そんなに
影響はするんだけど
やっぱVRAMほど
大事ではないかなって感じよね
かねりん
VRAMね
V
RAM拡張できないんでしょ
グラフィックボード買い替えるしか
しぶちょー
そう
拡張ができないから
かねりん
裏技ないのなんか
しぶちょー
一応ねちょっと
あるのよ
裏技というか
基本GPUに
収まらんと
収まらん分を
RAM側に乗っましょうみたいな
技術があるね
かねりん
聞いたことあるわ
しぶちょー
CPUオフロードと言うんだけど
かねりん
メモ取りながら参加させていただいて
終わった後にやりたいんで
しぶちょー
俺もねちょっとやってないから
分からんだけどねそういう技術があると
で基本的にはその
LLMって
レイヤー状になってるのね
かねりん
レイヤー
しぶちょー
層になってるというか
この処理までは
GPUにお願いして
この層以降の処理を
CPU側に任せようみたいな
そういう分割ができるのよ
層状になってるから
なのでちょっと収まらなかった分を
C
PU側に
置いて
CPUのRAM側に置いて分割するみたいな
そういう分割構成にはできると
かねりん
RAMに置いたやつをGPUは使えないんだ
しぶちょー
RAMに置いたやつをGPUは持ってこれはしないかな
かねりん
だからCPUにやらせなきゃいけないと
しぶちょー
そう持
ってこれないわけではないんだけど
RAMに計算させた計算結果をGPU側に渡すっていうフロになるかな
残りの処理をVRAMの方でやるみたいな
例えば24
24ギガの
VRAMが欲しいよと
本当はね
なんだけど16ギガのVRAMしかないよって場合は
残りの部分を
RAMに補填させると
CPUで処理させるっていうことで
動かせる場合があるみたいなね
場合がある
うまく動かない場合もある
これ結構賭けなんだけど
マシンによると
マシンによるとマシンとかの組み方にも
よるんだと思う
結構ね難しい多分やってないからね
ちょっとね細かい部分までは言えないんだけど
結構お作法ノウハウがある
世界だと思うよ
なる
ほどね
一応その
収まらなかったとしてもそっちにこう
逃がすよっていう方法はあると
なんだけど一番やっぱ綺麗なのは
量子化とCPUオフロード
しぶちょー
VRAMの中に収まるっていうことだね
かねりん
今のおすすめの
Qwenの3.8
27ビリオン
これは何ギガ
のVRAMだったら
いいの
しぶちょー
こいつはね
24か
できれば
36ぐらいあると
ええんちゃうみたいな
かねりん
24でいけんだ
しぶちょー
24でギリギリ
いけるだろうという風には
なっていたはず
ちょっと待ってね
結論で言おうと思ってたんだけど
かねりん
結論飛ばしてしまいました
しぶちょー
みんな早く聞かせてくれってことだと
多分クエノ
2.7
3.8の27ビリオン
自体の
そのモデル自体の大きさが
これまでちょっと
量子化の話も入ってくるから
ちょっとややこしいんだけど
マックスで一番でっかいやつで16ギガぐらい
なん
で
ちょっとね
かねりん
それちょっと一回り大きめの
しぶちょー
だから専用VRAMとして
16ギガを用意ちゃうと
ちょっとはみ出てんのね
だから細かい部分
軽量化する量子化っていって
ちょっとこうモデルを
性能を落とすなどでキュッと
小さくするか
16ギガ厳しいから
さっ言ったように部分オフロードしてあげるか
24ギガ
を
VRAMの24ギガを
用意してあげるか
それでもちょっと足りなくなる可能性があるから
かねりん
それでも足りなくなる
しぶちょー
専用のVRAM32ギガぐらいの方が
安定して
RTX 3090自作PCと中古M1 Max
しぶちょー
いけるんちゃうみたいな
かねりん
これ僕のPCスペック
24ギガ
ありますよこれ今
24ギガある?
Windowsキー
VRAM
しぶちょー
VRAM24あるの
すごいね
かねりん
今聞いたら
ってことはいけるってことすか
しぶちょー
ちなみRAMは何ギア
かねりん
RAMは128あります
とんでもない
しぶちょー
どんなパソコン持ってるの結構だね
かねりん
宇宙戦艦ヤマトみたいなやつ
当時ビデオ
編集
やってたんですね
360度のやつとかを
ゴリゴリやろうと思って
そこそこいいやつ買ったんだよ
しぶちょー
それさ
動くんじゃない
ひ
かねりん
ょっとして動くこれ
マジ
しぶちょー
結構
いけるんじゃないかな
専用のVRAM24と
本体のRAMが
128でしょ
それローカル動くっしょ
かねりん
NVIDIAのRTX3090
しぶちょー
3090か
結構古いな
かねりん
3090のVRAM24GB
しぶちょー
3090か
そんなにめっちゃ早くはないけど
かねりん
世代は古い
世代は古いね
しぶちょー
その世代で128を積んでるのメモリー
やばくない
かねりん
そうですね4枚ブサしてます
しぶちょー
すごいね
かねりん
無駄なメモリーですね
しぶちょー
いけるいけるいける
かねりん
でもこんなでもRAMなんてでも意味ないでしょ 128ギガなんてあっても
しぶちょー
RAMもいるよもちろん
かねりん
RAMもいる?
じゃあちょっとこれ今日勉強したらやってみようかな
しぶちょー
それ
なんか入りそうだね
かねりん
入れてみようか
でもこれさVRAMにそんなも載せたらさ他のことに使えなくなるの?
しぶちょー
他のことには使えないよね
かねりん
動画の書き出しみたいな
もうそれだけ
それ
しぶちょー
だけのためのPCになると思う
それなんか使ってんの
ビデオの編集で使ってん
かねりん
ちょっと書き出したり
ショート書き出したりするのは
Macでやらずにそっちでやらしてる
とか
しぶちょー
なるほどね
かねりん
そういうのができなくなるんだね
しぶちょー
できなく
俺もやったことないからわかんないんだけど
できなくなる可能性は
あるね
かねりん
なるほど
しぶちょー
さっきもちょっとチラッ話したんだけど
結構
でかいですよとモデル自体は
なんだけど
もっとでかいな
だけど
24あれば
収まるかもなと
っていうのは量子化っていう
ものがあって
モデル
モデルのそもそもの
ローカルLLMの重さって
何なのかっていうと
パラメーターの数と
そこに紐づいてる
パラメーターの
数字なんだよね
どんだけ
数字がいっぱいあるかみたいな
そのパラメーターの数字自体を
量子化って言って
桁を落とすって言うあれだけど
ビットを落としてあげるみたいなね
8ビットから4ビットにするとかね
そういう感じで
凝縮してあげると
桁が落ちるというか
数字が丸々あるんだけど
各パラメターの
それでも圧縮結構できるのよ
そうやって圧縮していくと
VRAMに積みやすくなるみたいな
かねりん
なるほどね
そういうテクノを使えば
はもっといきますと
しぶちょー
そういう量子化されたモデルがあるから
それだったら入るかもしれない
ただ当然
パラメータの桁を落として性能は落ちないように
してるんだけど若
干ちょっと
性能が落ちてる可能性もあるよねっていう
ことはあるかな
っていう感じ
かねりん
なるほど
しぶちょー
そうだね
かねりんがまさかそんなでっかいものを
持ってるとは思わなかったけど
かねりん
でかいんだねこれね
しぶちょー
24はでかいでしょだって俺だって12とかだね
俺のRTX4070か
Vラブ
かねりん
はいはいはい
しぶちょー
でCPUは32ギガだったかな
全然動かない
かねりん
持て余してますねこれ
しぶちょー
すごいね
いや
これはローカル動く可能性があるぞと
かねりん
ちょっとじゃあ
レポートしないとダメだなこれ
しぶちょーに教えてもらって
しぶちょー
そうちょっとねQwenが動くか
Qwenも
一応いろいろホームページとか
ブログ見ると
それで動くよっていうのもあるし
128ギガの
容量を持っていても
動かなかったよ
っていう人もいるから
組み方にもよってだいぶ違うと思うんだけど
かねりん
そこ知識いるのか
しぶちょー
若干やっぱり難しさはあると思う
で
例えば
アップルとか
アップルだとさユニファイドメモリっていう感じで
CPUとGPUの
メモリ区別してないんだよね
かねりん
あそうなんだ
じゃああれだね
アップルのメモリ128とかやってる人
やった方だよ
しぶちょー
あれね動くのよ
その代わりCPUの容量も
が使うメモリも食ってるから
パソコンの動きとしては
どうなるかあれだけど
GPUで使える領域と
CPUで使える領域を
共有しているユニファイドメモリという
仕組みなので
Appleで128GBとか
っていうと実はGPU側からも
128GB使えるから
結構大きモデが乗るのよね
だからMacでみんなさ
ローカルLLMやりたがるんだよ
かねりん
なるほど
でっかいグラボ買わなくていいってことか
しぶちょー
でも高いけどねその代わに普通に
かねりん
普通に高いね
しぶちょー
この前リスナさんから
教えてもらったのが
ローカル今一番
熱いのが
MacBookの
M1 Pro Max
かねりん
M1なんだ
しぶちょー
が一番
熱いですよっていう風に教えてもったわ
この前
かねりん
コスパがいいってこと?
しぶちょー
128ギガで
20万円ぐらいで中古で売ってる
M1 Pro Max
世代としては2021年とか22年ぐらい
出たやなのかな古いんだけど
でも一応M1 Pro Maxだから
結構積んでるのよユニファイドメモリで
128GB積んでいて
モデルは乗ると
当然その処理能力は遅いんだけど
ローカルLLMも遊ぶ分には
モデルがとあえず乗っちゃえば
こっちもんだから
意外といいんじゃないかな
と思って買ったんすみたいな
結構そのAI界隈というか
結構M1
MacBook Pro Max
ちょっと名前正しくわかんないけど
暑いんじゃないみたいなことで
安くて暑いんじゃないみたいなことで
結構言われてる
かねりん
中古で
しぶちょー
確か20万で128ギガ
かねりん
相当だよね
グラボでそんなもの
100万とかするんでしょ
しぶちょー
確
かに
スピードとかあまり求めすぎずに
とにかくどんだけ動くかとか
試したい
であればそれも選択肢とありだなと思った
かねりん
るほど
しぶちょー
それめっちゃ発熱するらしいけどね
かねりん
爆発しそうだな
しぶちょー
そう
当然古いし
かねりん
ちょっと遅いけどってことだよね
しぶちょー
ちょ遅いけど一応乗れば動くから
っていう意味で
ユニファイドメモリって
Macは結構
ローカルLLMと相性がいいと
かねりん
な
るほど
そういうことなんだね
しぶちょー
Mac多少高いけど
値段高いけど
かねりん
中古か
しぶちょー
中古のね
かねりん
それはしぶちょーもアリなんじゃない
しぶちょー
それはね確かに
相場調べたけどちょっと上がってるよねやっぱね
気づき始めてるかもしれないみんなが
かねりん
買ってんだみんな
転売屋も買ってるかもしれないよこれ
しぶちょー
そうだからあれなのよ
本当に秋葉原とか行って
その店頭に出てるやつとかを
うまく収集して買わないと
多分ねネットで買ってたら
捕まされるだろうな
でも20万円
ちょっとね勇気がいるよね
動くか動かないけどどくらい動くか分かないけど
なんか
中古のM1
ねえ
かねりん
まともに動くんでしょうか
しぶちょー
そうそうそうそう
ちょっとね
そこは難しいよなみたいな
じゃあ
かねりん
SSDは控えめでもいいってことだよね
しぶちょー
まあそうだね
ストレージもまあだいたいその
128ギガとか
2テラとかついてたりするんだよね
かねりん
みんな買うんじゃないこれ
ちょっと今検索してみたけど
しぶちょー
結構
いいらしい
っていう
いつもねこう聞きに来てくれる
人が
彼にも会ったことあるよその人
手伝ってくれた人
あれ
ウィークエンド
かねりん
ありがとうございます
しぶちょー
確かにその選択肢あるなと思って
かねりん
買ったんだその人
しぶちょー
買ったって言ってた
かねりん
どうかってところ
聞きたいね
しぶちょー
そうだね
人間知らないけど
かねりん
メイPCじゃなくて置いてあるんだよね
多分
しぶちょー
持ち運んではいると言って
ずっと据え置きなんすか
持ち運びますよ
バッテは5時間ぐらいしか持たないけど
5時間持つだったら十分だな
めっちゃ暑くなりますと
多分動いてはいるんじゃないかな
ぜひちょっとまた続行をお待ちしております
そういう選択肢もあるみたいな
かねりん
中古とかで
なんとかしないと
金額おかしいもんな
DGX SparkとAI発信者の機材事情
しぶちょー
新品で
よしゃやろうぜと思った時に
選択肢として上るのは
NVIDIAのさっきも言ったけど
DGX Sparkっていうね
大本命
こちらも実は
ユニファイドメモリと同じような形で
128GBの
共有のメモリ構成になってるのね
CPU GPUと
なので一応128の
共有メモリがあって
VRAM128って感じじゃないんだけど
まあそんだけ乗りますよと
かねりん
それ分かれてない方が
いいの?
そういう流行りなの?
ユニファイドメモリ
しぶちょー
どうなんだろうね分かれてない方がいいというか
VRAMに128とか
乗っけちゃうと
とんでもないことなんじゃない?値段的に
共有した方が
効率がいいのではないのかと
勝手に思ってるけど
あんまりこのハードウェの部分分かんないから
適度なこと言ってるかもしれないけど
かねりん
めっちゃ高そうだもんね
しぶちょー
でもそうだよね普通にさ
GPUの
VRAM24
とかさ
そういうものが
の値段だけでもさ
すごい高いじゃん
あれが128とかだった
とんでもないことになりそうだね
かねりん
だけで200万みたいな
しぶちょー
平気でいきそうじゃん
かねりん
いきそうな気する
しぶちょー
なんだけどDGX Sparkは100万ちょっとだよね
かねりん
うん
それパソコンなの?
しぶちょー
結構ちっちゃい
お弁当箱みたいなぐらいの
ちょっと大きめのお弁当箱
かねりん
じゃあ本当それだけの特化してるみたいな
しぶちょー
そう
サイズ的には本当に
幅的にはマウスパッドぐらい
かねりん
マウスパッド?
しぶちょー
マウスパッドぐらいのなんか本当にちっちゃいよ
かねりん
何幅マウスパッドって5ミリぐらいしかない
しぶちょー
いや違う違う幅じゃないやこの大きさ
かねりん
ああ大きさね
しぶちょー
そうこのぐらいの大きさで厚
かねりん
マウスパッドのなんか都心のめっちゃ細長いマンションみたいな感じかと思
しぶちょー
違う違う違うそんなに大きいパソコンじゃないんだけど
よね
すげえコンパトでめっちゃかっこいいよね
かねりん
かっこいいんだ
しぶちょー
そうかっこいい
かねりん
DX
しぶちょー
DGX
DGX
かねりん
ス
パーク
車の名前みたいじゃんこれさっきの
しぶちょー
私がGTRみたいなね
かねりん
GTR
しぶちょー
そうなんだよね
かねりん
これが今じゃあ大人気なの
しぶちょー
大人気って語弊があるけどね
その界隈で
界隈でか
AI
あとAMDのRzenのAIMaxっていうのがあるらしいんだけど
かねりん
RzenってあれかGeForceじゃないライバル企業
しぶちょー
そうAMDのねRyzen
かねりん
AMDの
しぶちょー
AIMax
っていうのもあるみたい
かねりん
っちも安そうですね
しぶちょー
そうだねそれを並列につなぐって人もいるみたいだけど
それはGPUの名前だよね
かねりん
価格.comで100万円ぐらいですね
しぶちょー
DGX Sparkでしょ
かねりん
このパソコンはい
しぶちょー
だからやっぱこれをなんか
かねりん
100万円だって
しぶちょー
なんかそれやっぱAIガチYouTuberとか
これ6台ぐらい積んでるらしいよ
かねりん
何
をしてんだろう彼らは
しぶちょー
だからなんか
カラーゲンセネム言ってたもんやっぱ
ビデポッドキャストで
AIのこと語ってて
背景にDGX Sparkないのおかしい
そこがあって
AIのポッドキャストなんだなみたいな
かねりん
あれかもう
G検定E資格
DJなんとかスパークみたいな
しぶちょー
めちゃく飛んでるけどね
だからClaudeくんがいるじゃない
背景にね
Claude君の台座として
やっぱここにDGX Sparkがないと
やっぱ
拍がつかないというか
こいつらそのレベルなんだよねみたいな
かねりん
ちゃんとやってないんだみたいな
しぶちょー
せめてかねりんの
ライティングされたところに
一個キラキラ輝く
かねりん
ここにはめ込んく
しぶちょー
はめ込んいて
かねりん
そんな感じのものなんだね
しぶちょー
そうそんな感じ
なんでそんなみんな買ってるんだ
かねりん
発信者同士でマウント合戦
しぶちょー
うちはもう2台
新しいの買っちゃいましたみたいな
かねりん
からあげ先生は持ってんの
しぶちょー
うわ
かねりん
ーすげー
しぶちょー
やっぱAIで発信してる人だから
かねりん
ポジショントークすげーな
しぶちょー
持ってないですよみたいな
あら
あ
らららーみたいな
偽物ですねしぶちょーさん
ってなっちゃうから
ちょっと買えないですけどね
かねりん
唐揚げさんぐらいだったら
ちゃんと使ってるんだろうけど
ユーチューバーは何に使ってんの
しぶちょー
その人もガチのやつ
からあげ先生は
自分のさ
コミュティの中で動く
AIエージェント
だからオ
ープン
OpenClawとかあるじゃん
OpenClawのオリジナル版を作ってるのね
からあげ先生ザンギってやつを
かねりん
それそういうやつなんだ
しぶちょー
よりOpenClawやつ
ちょっとリッチすぎるから
かねりん
オープン唐揚げみたいなことね
しぶちょー
オープン唐揚げでございます
ザンギもそうだから揚げ物だよね
だから
かねりん
ザンギって揚げ物って意味なの
しぶちょー
揚げ物だけどザンギって食べ物あるじゃん
かねりん
ああ何知らないんだよ
そう
なの
そんなの誰も知らないと思うよ
しぶちょー
あるよザンギ
かねりん
唐揚げとかにしてよ唐揚げさん
しぶちょー
ややこしいじゃん名前が同じだと
かねりんが作ってるかねりんというサービスがあったらやこしいでしょ
かねりん
かねりん俺も全部かねりんだよね
しぶちょー
ほらザンギってほら
かねりん
国会堂の
しぶちょー
そう唐揚げみたいなや
かねりん
ああ居酒屋とかでよくあるやつ
しぶちょー
そうそうそうだからねこうそういう
名前食べ物系で
かねりん
ゲソテンとかなんか
ゲソカラーとかにしてほしかった
しぶちょー
この時間にこういうのを見るとお腹が空いてくるからあんまり良くない
かねりん
そうですね
しぶちょー
ゲソカラ
かねりん
ああなるほどね
自分で作ってんだ
しぶちょー
そう
返してコミュニティの質問に
回答するみたいなところに使ったりとか
してるらしい
かねりん
ごいね活用してるね
しぶちょー
として実験的な部分もあるんだろうけど
おちつきAIコミュニティもほらやらないと
ローカルLLMで動いてるみたいな
かねりん
本当だよな本当だよな
おちつきAIコミュニティでいろい実践をしていきたい
構想はあったけど追いついてませんよ
しぶちょー
追いついてないね
ステップはステップです一個ずやっていきましょうという
かねりん
アジャイル開発?
しぶちょー
アジャイル知ってることを出せばいいと思うじゃないですか
かねりん
やりながら直すみたいなイメージかなと思って
しぶちょー
まあそうね作りながらね
穴がち間違っちゃいないけど
かねりん
そうか
ローカルがあるとそういうことができると
電気代、LM Studio、Windows自作PC
しぶちょー
そうそれがね勝手に家の電気代だけで
家の電気代だけでって言うけど
結構電気代もかかるんじゃないかなとは思うけどさ
かねりん
そうじゃない電気代すごいよ
しぶちょー
でもかなりさパソコンとかぶん回してなかった
ビットコインとかずっとマイニング
の文化あるじゃん
かねりん
マイニングを昔してましたね
この子で
しぶちょー
マイニングしてたんだやっぱ
かねりん
めっちゃ熱持つんで
冬は暖房兼マイニングで
電気代
結構かかるから結局トントンみたい
しぶちょー
そうだよね電気代かかるんだよね
かねりん
若干多かったかなぐらいかな当時のレートで
マ
しぶちょー
イニングってどぐらいお金かかるの
電気代どんぐらいかかるの
かねりん
なんか電気代でもそんな
そんな10万は行かなかったかなぐらいですけど
家庭の電気代の
なんか数倍行ってたかな
なんで
こんな高いのみたいな感じだった
しぶちょー
ちゃんとかかるね
かねりん
ちゃんとかかる
だ
しなんかもう夏は灼熱地獄みたいになってた
しぶちょー
なんかLLMどんだけ爆熱なのか分かないけど
そのぐらい電気かかったら
なんか課金した方がいいってなりそうな
なんかね
かねりん
でもその何
そのNVIDIAのやつは
分かんないけどね
効率良さそうだけどね
しぶちょー
そんな爆熱っていう感じではない
さそうな気もするけど
かねりん
ゲーミングパソコンみたいなやつやってるから
効率すごい悪そうだけど
しぶちょー
どうなんだろうね
どこまでバクバク
動かすかっていうところもあるとは思うけどね
かねりん
今もだから結構
フルでたまに動いてて一日中
その今のさ
切り抜きをレンダリングするみたいな
ショートレンダリングするみたいな
一気にバーってやるともう
灼熱地獄
しぶちょー
そうだよね
かねりん
電気代は見てないです
怖いんで
しぶちょー
そこまでバリバリ動かしてないからな
パソコン
MacBook Airで
全てをやってるからな今
かねりん
すごいよねそれは
しぶちょー
動画もポッドキャストなんて別にさ
そんなにPC使わんじゃん
かねりん
うんうんそうね
しぶちょー
ノイズ処理とかね
やらなければ本格的に
ポン出しだからさ基本的に
音に関しては
動画も別にそんな凝った編集しないし
一応
かねりん
しぶちょーショートとかも作ってるんだ
ショートちょっとぐらいだったら別に
しぶちょー
ショートもね別にそう
単に切り出すだけだから
問題ないし
かねりん
そうか
しぶちょー
ってな感じかな
だけどやっぱその家にある
RTX4070を
なんとか
使いたいけど
4070もうね5090の時代なんですよね
かねりん
でも
そこより
あれじゃないの
RAMの大
きさが重要
しぶちょー
そうだよ
VRAMの大きさが重要なんだけど
結局
今の現行のやつでも
うんうん
とかあったよな確か
えー
かねりん
中古の
VRAMじゃねえや
グラボとか安くないのかね
しぶちょー
15のグラボちょっとあれだよ
かねりん
火吹きそう
しぶちょー
いや火吹きそうではないけど
なんかこう
そうね拡張
結局まあ自作PCだから
俺も作ってるのが
あれを拡張していくって手もあるけど
高えんだよな結局ね
うん
確かに
かねりん
高いのね
しぶちょー
あでもあれだ俺が調べた
うん
中に
RTX3090あるわ
かなり3090って言ったよねさっき
かねりん
3090やね
しぶちょー
一番コスパのいい
構成
RTX3090を
で
CPUもちょっと増設して
VRAM24GBと
で構成すると
うんうん
意外とギリギリ乗るんじゃねかみたいな
かねりん
ギリギリ構成か
しぶちょー
結構ギリギリ構成のあれにはなってるね
本当に動くんかな
でも今あるもので試してみるのはいいと思うね
かねりん
ちょっと何これ
Claude君に聞きながらやりいいのかね
いろんなやり方があるのでも
構成の仕方って
しぶちょー
まあそうだね構成の仕方自体は
いろいろあるんだけど
一番簡単なのが
やっぱLM Studio
かねりん
だ
何度か出てきてるやつだ
しぶちょー
GUIで動かせるから
かねりん
それがやっぱ依然として
おすすめですか
しぶちょー
やりやすいと思う
ダウンロードして
会話したい人の入り口って感じかな
他にも
いろい構築手法が
あるんだけどあんまり
深掘りできてないわ
うんうん
かねりん
最近
最近そのWindowsはさ
Macと
通信つないで
あるんですよ
アプリでテイルなんとかみたいな
で
AIがもう直接
動かしてもらっていろいやってるんで
何が起きてるのか
ブラックボックス状態ですね
しぶちょー
全部思わせんだね
かねりん
そうね
ていうなんかWindows
触らずにMacから
全部動かせるんだみたいな
感動してるんだけど
ファル消したりも当然そうだけど
しぶちょー
どういう経緯で
それ動いてるの
かねりん
ネットワクから
ファルやり取りかな
WiFiの
データ送って
重いデータは重
い処理は
Windowsでやって
完成したやつを返してみたいな
感じですね
出先でもそういう風に回るようにしてあって
マックでは何も
回さないみたいな
感じ
しぶちょー
結構やってんね
でもそれいいね
マックもさ
最近マックブックプロ買ったよね
かねりん
そうですよ壊れててね
先日やっと返品できました
70万円
早く返してください
カード会社さん
しぶちょー
あれあそっか買い直したんだよね
かねりん
買い直して
しぶちょー
最初のやが返金されるみたいな
謎ルーティーンったよね
かねりん
特別対応で
伸びて1ヶ月ちょっとぐらい
返品期間過ぎてますけど
いいですよってなって
で直ってきたんで
この間買ったやつを
返品してきました
なんとか
一文着二文着あったけど
しぶちょー
もうじゃあ手元にはあるの
画面半分消えてる
かねりん
なおったやつが
しぶちょー
それスペック
なんだろう
かねりん
これスペックは
あれだね
なんだったっけこれ
M5 Pro
しぶちょー
メモリは
かねりん
40いくつ
48か
ちょっとねメ
モリしょぼいんですよ
固まってばっかなんでね
しぶちょー
48でしょぼはちょっとあれだよ
かねりん
ずっと固ま話
しぶちょー
こっちがやばい
16ギアだ
えー
固まんない?固まる
3個ぐらい並列で
作業してると
ポッドキャスト処理させて
ショート動画作って
こっちでなんかしてってやと
メモリがいっぱいですみたいなやが出てくる
何かを落としてくださいみたいな
かねりん
ほんと128とか
欲しくなるよね
しぶちょー
上を見たらキリがないよな
本当に
かねりん
VSコードでさ
タブ開きまくって
マルチみたいになっちゃってるからさ
止まりまくって
ダメだなって
仕事のやり方ダメだなって思ってる
しぶちょー
VSコードじゃない方がいいかもね
ターミナ直接開くみたいな
かねりん
怖い怖いそれは
しぶちょー
ターミナル複数でバーって管理できるやあるよ
かねりん
そうなの
VSコードダメ?
しぶちょー
ダメじゃないよ
俺も使ってるけど
ファル確認するし
意外ともうVSコード
開かなくても
いいよねみたいなとこはある
かねりん
あそう
しぶちょー
そのなんかファル見ないんだったら
かねりん
ファル見ないね
しぶちょー
普通にそのChatGPTの
デスクトップアプリでやっちゃうとかさ
うん
Codex使えるじゃん
かねりん
うんうん
そうね
しぶちょー
よっぽど楽
なんじゃないかなってのあるけど
かねりん
うん
どの道メモリは食うんでしょ
同じように
しぶちょー
外部
かねりん
メモリとかないのかね
しぶちょー
外部メモリね
増設するしかないよな
ストレージじゃないんだから
かねりん
RAMを増設したいよな
しぶちょー
増設って言ってもあるよな
今パソコン
2年目で
もうすぐ
もうそうだな
でもGPU高いんだよな結局な
かねりん
その今のAirより
例のM1 Pro Max
128の方が良かったりするんじゃない
しぶちょー
そうだねそれはそうだね
今デスクトップPCがさ
その家にあるから
あっちを増設した方がいいんじゃないか
みたいな20万円あったら
かねりん
はいはいはい
しぶちょー
今すでについてるRTXの
4090プラス
プラス
もう一個みたいな
かねりん
そ
っちをじゃあ
強化していくんだね
しぶちょー
強化した方がいい気もするし
なんかパソコンでもな
あんまり自作パソコン
いじっていい思い出がないからな
壊れたり反応しなかったりとか
壊れるからね
かねりん
車いじってるような人だからめちゃめちゃいじんのかな
しぶちょー
いややるよ
やるけどなんかね
行きって水冷パソコとかにしたから
いじるのめんどくせえんだよな
かねりん
いいね
しぶちょー
やっぱ車と一緒でさ
冷やすんだった水冷でしょみたいな感じで
水冷ユニット今貼り付けて
まあそんなに水冷
い
かねりん
じにくいの水冷にすると
しぶちょー
いじりにくいわけじゃないけど
ちょっと線増えてたりとかしてめんどくさい
けど水冷でもそんなガチガチに水冷にしてるわじゃないから
ガチガチっていうのは
本当に水冷にする人はさ
水見えるようにするのよ
でちょっと色付きで
かねりん
水族館みたいな
しぶちょー
そのちょっとね
照らしてみたいな
はい水冷パソコンですよこれみたいなね
かねりん
かっこいい感じね
しぶちょー
そうかっこいい感じで
でそういうことにするとさ漏れるんだよね
水が
で終わりみたいな
リスクを追うんだけど
かっさの代わに
そうならないようにもうなんか
一応水冷の線が通ってるんだけど
CPU冷やすクーラーと
水冷ユットがあって
そこガチガチの線が通ってるみたいなやつをつけてるんだけど
かねりん
うんうんうん
頑丈なやつね
頑丈なやつ
これも水冷だったかなCPUとGPUはね
しぶちょー
水冷の方がねうるさくなくて
いいって話あるけど結局
うるえんだよな
かねりん
水冷うるさい
しぶちょー
水冷はうるさくないんだけど
他のファがうるせえ
そこだけじゃないしね
かねりん
結局ファ
ファンレスにはできないよね
しぶちょー
そうね結局その筐体の中を
循環させたりとかしたいから
っていうのあって
意外とうるさいっちゃうるさいんだけど
パソコンちゃんと
増設するかな
かねりん
後ろの3Dプリンターがね
そのうち
巨大パソコンになってく日も
あるかもしれない
しぶちょー
積み上げられてるかもしれないパソコンがね
でも東京に持ってくるのめんどくさいから
こっちにいるうちはちょっと
なんとかMacBookに乗り切りたいよな
って言ってたら
もう来年になっちゃうんだけどさ
めんどくさいね
パソコン持ってくるの
パソコンの郵送もあるんだけどね
専用のね
かねりん
何かしら壊れそうだよね
しぶちょー
一応ね壊れた時の保証ありの
そういうなんか
お店に持ってけば運んでくれます
みたい
なやある
かねりん
キャリーケースに
なんとか入れて持ってきた
しぶちょー
入んない入んない入ん
かねりん
入んない結構でかいね
しぶちょー
でかいそんなキリーに入るようなもんじゃないよ
かねりん
割とでかいやつなんだ
しぶちょー
すごいでかいやつを買いました
30万ぐらいしたよ買ったときはね
かねりん
ゲーミングっぽいやつね
しぶちょー
そうゲーミングPC
そのときはゲームやるんだと思って買ったんだけどね
かねりん
そのときはゲームやるんだなんだ
しぶちょー
ゲームそう
アーマードコアっていうゲームと
かねりん
なんか聞いたことある
しぶちょー
フォサっていうゲーム
車のやつだねこれは
やるんだという強い意志のものに買ったんだけど
睡眠不足と健康の話
しぶちょー
全くやんなかったね
かねりん
なんでなんで
時間がない
しぶちょー
ゲームやってる時間なんてないなと思って
かねりん
そんなこと最初から分かってんじゃん
しぶちょー
だけど分かってるけど
なんか
なんだろうね
余裕
余裕はあるよねみたいな
いつもなんか
なんだろう
余裕ないのに
幻想の余裕を見てるんだよね
なんかね
かねりん
時間の目測を誤る感じなの
しぶちょー
そう多分1日をね
40時間ぐらいで観察しちゃう癖があって
かねりん
すげー緻密にやってそうなのに
しぶちょー
全然足りねーみたいな
かねりん
で睡眠時間が多いやられてしまうんだ
しぶちょー
いつも毎週さおちつきAIもさ
収録前にさ
こんだけ時間があるから
原稿このぐらいできて
このぐらいに余裕あるなと思うんだけど
かねりん
うん
しぶちょー
いつもね5分前ぐらいまでさ収録の
やべやややってなってて
かねりん
えー
なんかそれ意外なんだよな
バタバタして 計画的に時間割に決まってそうなのに
しぶちょー
そうだよね
だけど結局一個やり始めると
なんか増幅すんだよね
そのタスクがやべこれもやんなきゃいないじゃん
かねりん
それAIならではで?
しぶちょー
違うもう全然普通に自分の仕事として
昔
井もなんかその
案件受けてる動画をさ
しつけあの収録前に作らなきゃいなくて
動画作ってたんだけど
やべえみたいな
これ足りてなかった
これ違うわみたいな
クライアントに聞かなきゃみたいなことがあって
で
結局想定よりも
1時間くらい
時間かかってきた
のばっかなんだよ結構ね
かねりん
意外ですね
自分の力量把握してどれくらいできるから
みたいなの全部管理できてるのかと思って
しぶちょー
全然管理できてない
結果寝れないみたいになるよね
そういうところをAIに管理してほしいんだけど
かねりん
そうだね
電気ショックのAIはどうですか
しぶちょー
そうね気絶させるみたいなね
ここら辺につまみつけといてさ
血流をピッて止めて
死なない程度に
かねりん
ちょっと抑えどころ間違って死んだみたいな
しぶちょー
危ないね危ないわ
なんかまかり間違って
首解除されなかったら死ぬもね
やめとこう
かねりん
フィジカル怖いね
しぶちょー
フィジカルは怖いですね
Jevに判断させて
生きてますか
かねりん
でもいろんな生態データ入れてんの
なんていうかな
自分のこれ
ウォッチとか
しぶちょー
入れてないねこの前
人間ドックのデータをChatGPTに
読み込ませたくらいをしたけど
かねりん
数値悪いのあるんだね
しぶちょー
そうだでも回復したよちょっと
かねりん
な
んで回復できるの
しぶちょー
肝臓がCになったDから
かねりん
睡眠ちょっと改善した?
しぶちょー
いや分かない何もやってない
でもランニングとかはね運動はジムには通い始めてるから
かねりん
あそうどう
続くのそんなの
しぶちょー
そう続けてはいるよ
かねりん
東京来てからなんか健康的なチャイ始めて
しぶちょー
そうジム始めて
かねりん
始めてで
また瞑想を再開みたい
しぶちょー
そうなんか
妻に言われたけどなんか寝た方がいいんじゃないそんなことするよりって
かねりん
全くその通りだ
何かしてないと気が済まないから
しぶちょー
ジムも良くなくて
かねりん
ああうん
しぶちょー
走り有酸素をした方がいいよ肝臓に行って
って書いてあったから
油酸素をしようと思うんだけど
思い立つのがさ
作業が全部終わって思い立つのが
12時半ぐらいなんだよね
かねりん
夜中?
ダメだね
しぶちょー
よしじゃあちょっと30分間走りかけて
走り行っちゃうやん
睡眠にすごく多大な影響がある
多分ね
かねりん
寝る前に走るってちょっと
しぶちょー
よくないよね多分ね
なんだけどそこのタイミングで時間が取れるからさ
ちょっともう走らないとな
みたいな
多分それ
かねりん
起きてからは?
起きてから走ったろ
しぶちょー
それもあるじゃん
朝起きてから走るのもいいなと思うんだけどさ
朝は朝で忙しいんだよいろいろ
かねりん
寝る前しかないんだ
しぶちょー
寝る前しかなくて
優先度の高い仕事がいっぱあるんだ朝は朝で
かねりん
朝が一番冴えてる?
しぶちょー
冴えてはいるよ
朝やるんだったや本書いたりとか
かねりん
クリイテブな
しぶちょー
クリエイティブをしたくて
かねりん
のみそ使うやつ
しぶちょー
フィジカルを使うだったら
残りその日に絞りきれなかった
体力を使って
体をいじめるみたいな
方がいいかなと思って
夜走り行くんだけど
絶対良くないなと思ってる
健康に
かねりん
そうだねで寝つき悪くなる
寝き悪くなる
しぶちょー
寝つき悪くはないね
気絶するように寝れるけどね
全てを使い切ったみたいな
かねりん
疲れて寝てていいんじゃない
しぶちょー
でもさ何だろう
スマホの充電と一緒にさ
80%70%ぐらい
朝起きたら
体力的に
マックスになってないみたいなね
100にはなってないなみたいな
時間が足りてないから
ちょっとプッて刺してさ
10分ぐらい充電してピッて抜くみたいな
5%ぐらい充電できました
かねりん
3時間4時間でしょ
しぶちょー
よくない
本当に睡眠不足は本当にね
最近そのショートスリーパーの人話題になってたけど
かねりん
俺のタイムラインには1ミリも流れてこないのよ
しぶちょー
めちゃくちゃ流れてくるなんで
かねりん
しぶちょー住民不足だからでしょ
しぶちょー
違うよ今全日本のSNSに流れてきてるはずなんだよあれは
かねりん
あれコーチャンバーだって
しぶちょー
いやいやいや
かねりん
俺一回も見ないもんめっちゃ検索してようやく探したもん俺
しぶちょー
いやめっちゃくちゃ出てくるよ
かねりん
ホリなんとかさんでしょ
しぶちょー
ホリさんすごい出
かねりん
本当さ全然知らないけどさ
嘘だとしたら罪深いよね
30分でいいっすよ
とかって言ってそれ信じてさ
体おかしくなっちゃってる人いるっしょ
しぶちょー
そうね
いやあれはね
でもなんかあれらしいよ
1週間30分睡眠
みたいなやのチャレンジやって
それの結果なんか
講座めっちゃ申し込み者
増たらしいよ
わかんないけど
すごいね
かねりん
いじりに来てんのみんな
しぶちょー
ちょっと若干そのなんか
今が旬だからちょっと受けてきました
みたいなことを言おうってお金払ってる人も
多い気がするけどね
かねりん
そっちか
しぶちょー
そうのっかりみたいな
かねりん
でも大丈夫だったのその
その人倒れて
倒れず
しぶちょー
倒れずには
なんか疑惑はいろいあれと
かねりん
ヘ
ロヘロだったんでしょ最後の方
しぶちょー
最後の方ヘロヘだったし
ちんちんも出しとったよ
かねりん
ヤバいな
しぶちょー
本当に
ミスで出
るっていう
かねりん
ヤバいじゃん
その人
しぶちょー
すごい話題の作り方は上手だなって思った
かねりん
話題の作り方上手なの
しぶちょー
上手でしょだってあんな注目されてさ
かねりん
自分の
そういう作戦なの
しぶちょー
どこまでが戦略なのか分かないけど
深読みすると全部戦略なんじゃないかな
と思っちゃうぐらい
かねりん
発信者を信じちゃダメだね
しぶちょー
面白かったわなんか
かねりん
俺もちょっとあのね
しぶちょー
ちぎられた情報しか見てないけど
かねりん
いや俺ちょっと
いやすごいな
すごいね
しぶちょー
でもね睡眠時間がね確か削られたら
一番いい
んだけどね
それで健康に生きれるのあれば
だからちょっとね
人のフリ見てじゃないけど
かねりん
おちつきスリープの
先生の言ってたことは本当だったな
しぶちょー
何日だっけ
なんかいろいろ
かねりん
オンアで多分言ってないけど
なんかこういうねホリさん
当時流行ってたから
30分でいいとかいう人最近いるけどあれ本当なんすか
つって
いやまあそういう人がいても
おかしくないかもしれませんけど
ちゃんと寝てください
って
すげえ冷静に言われたんだけど
しぶちょー
そうね
かねりん
信じちゃいそうだからさ
しぶちょー
やっぱその若年性アルツハイマーとかさ
やっぱリスを抱える
らしいよね
排出
かねりん
できなくてね
その老廃物
しぶちょー
言って
かねりん
たなそんなことも
しぶちょー
だから俺もう怒られないように
なんか
その話も今週ちょど妻としたんだけど
本当にこれ
若年性アルツハイマーとかになったらさ
ほら言ったじゃーん
ってなるからやめてほしい
かねりん
いやいや
ほら言ったじゃんですまないよね
いい加減にしてだよ
しぶちょー
何言ったってってなっちゃうじゃん
かねりん
そうだねボケ老人
50くらいでボケ老人
しぶちょー
困るよね
かねりん
本人困んないもんな
しぶちょー
本人困んないから一番良くないよね
かねりん
ポッドキャストの相方と
人生の相方は困る
しぶちょー
そう
なんだってって
なんだってみたいなことずっと言ってね
かねりん
同じ話ずっとする
しぶちょー
ずっとするみたいな
かねりんも言うてそんな寝てないでしょ
寝てる?ちゃんと
かねりん
睡眠時間俺結構頑張って
撮ってます
確保してますね
寝る時間はもうバグってるけど
朝寝て
本当夕方起きるみたいな時はあるけど
しぶちょー
でもなんかそのおちつきスリープの先生も
寝れてりいいって言ってよね
時間が別にずても
かねりん
うんうんうん
時間は絶対支出してください
って言ってたな
しぶちょー
そうね
でも今週俺
10時間くらい寝てたよ
かねりん
おー
寝れるんだそんな急
に
しぶちょー
なんか
寝て起きたら育つと
子供の寝かしつけのまま寝ちゃって
うん
いつもさ子供の寝かしつけ
起きれるようにさ寝ても
目覚ましをかけとくんだけど
アップルポッチでかけ忘れちゃって
朝起きたら
起きたら朝だった
9時くらい
9時くらい寝て
6時か7時くらい起きたの
かねりん
人間だ
しぶちょー
人間だと思ったね
かねりん
寝すぎて
寝すぎて
睡眠負債とか
解消できないらしいからね
しぶちょー
そうね
なんかもう
寝るしかないっす
かねりん
寝てください
しぶちょー
俺さもう2年くらいずっとこれ言い続けてんだよね
もうみんな信用してないよ
俺の寝なきゃいけないねっていう言葉を
かねりん
そりゃそうだよね
ギリギリまで詰め込むんでしょうだってね
しぶちょー
そう
俺ももともとはね
睡眠いるのかどうかみたいな
会議的でしたから俺
かねりん
ああそう
堀さんだったの
しぶちょー
堀さんだった
かねりん
やば
しぶちょー
さあなんか意味わかんないなと
脳が疲れるって意味わかんないと思ってさ
ってずっと思ってた
筋肉は物理的な動きがあるじゃこうやって
なんか乳酸になるものがたまってさ
動かせなくなるの分かるんだけど
脳って物理的に動いてないから
なんか
疲れとかないんじゃないかと思ってた
だからエネルギーさえ
導入してれば
ずっと動き続けるんじゃねかなと思ってさ
ラムネを食い続けてた時期あったんだけど
かねりん
ヤベえブドウ糖補給みたいな
しぶちょー
ブドウ糖が足りなくなるから
脳が動かなくなるだけであって
っていうシンプルな機関だと
思い込み
行動してた時期あったけど
かねりん
なかなか怖い行動ですね
しぶちょー
どうやそういうシンプルな話ではないらしいよ
難しいね
かねりん
睡
眠は
やっぱねみんな
興味のあるところで
睡眠の番組もね
ちょっと今
一時停止してますが
しぶちょー
コメント書き込めば始まるの
かねりん
始まるかもしれない
しぶちょー
聞きたいですよみたいな
かねりん
そうそうそうそう
求められてない番組は作りません
っていう俺のポリシーがある
しぶちょー
今一番求められてるでしょ
かねりん
それは堀さん界隈でしょ
しぶちょー
今だって本当に
睡眠は
かねりん
今とか明日とかないよね
ずっとだよね
しぶちょー
なんかやっぱ注目度が高いから
かねりん
そうかじゃあまず
初っ端は堀さんについてかな
しぶちょー
ゲスト呼んでほしい
怖いからやめたほうがいいかな
ちょっと怖いな
かねりん
怖い人なの
なんかさ怒りっぽくなるんで
らしいねあの睡眠不足って
しぶちょー
そうそうそう
最初はそうかなと思ってたけど
睡眠不足だから怒りっぽいのかな
って思ってたけどなんか普通に
そういう性格っぽくもあるから
堀さんの場合はなんか
かねりん
しぶちょーもちょっとやっぱりあれじゃない
睡眠不足でキレてんじゃないの
しぶちょー
AIに
かねりん
AIとか多分
知らずに人にもキレてると思うよ
しぶちょー
キレてるかな俺
かねりん
なんかちょっと
なってんじゃない
しぶちょー
俺そんなにね
切れない
かねりん
めっちゃ寝てたらもっとすごい
しぶちょー
もっと優しいかな
かねりん
ソフトな感じになるかもしれない
しぶちょー
そうねどうやって睡眠時間を
確保するか
今週だけでも寝れないの確定してんだけど
かねりん
そういう時期
ということでね
しぶちょー
そうですね
何の話だっそうだよ
違うよ睡眠の話じゃないですよ
ローカルLLMの話ですよ
はい
かねりん
そうです
しぶちょー
ローカルLLMでございます
どこまで話したっけ
もはやもう
かねりん
そうなんかパソコンに入れて使えるじゃん
みたいなテンション上がって
しぶちょー
そうね
なんか説明してないことあったっけ
量子化の話はちょっとチラッとしたからいいや
量子化はちょっと
VRAM重視の結論と試し方
しぶちょー
結局まとめに入るか
まとめると
VRAM大事ですよって話です
モデを全部そこに
ぶち込んでそっから動かしたいから
VRAMの大きさがいるんだけど
かねりん
別にVRAMに
しぶちょー
収まらなかったとしても
CPUオフロードで
CPU側のメモリにも
載せれるっちゃ載せれると
基本的にはVRAMに載せた方が良くて
VRAMの大きさが
遅くなるとも
ボトルネックがそこになるから
あん良くないね
けど
けどと
にかく
乗らないことには
あんまりしっかり動かないよっていうのがあるので
高いパソコンだったりとか
Apple Siliconであれば
Unified Memoryという
形になってて
CPUのメモリとGPUのメモリを共有する
仕組みもあるので
そういうので乗せてあげると意外と動く
こともあると
なので
最安値はもしかしたら
MacBook Pro
M1 MacBook Pro Max
なのかなかもしれないと
かねりん
20万円中古
しぶちょー
ちょっとやってみた
リ
スナさんがやってるんでね
その結果をちょっと聞きたいところではあるんですけど
かねりん
聞きたいですね
しぶちょー
もう安心してやんだったら
DGX Spark100万円買っていただけると
一番いいんじゃないかな
かねりん
やばすぎるな
これなんか使ってる人いたら
話聞かせてほしいな
しぶちょー
いやーなんか意外とね
SNS見るとねあるんだよ
かねりん
みんな使ってんの
しぶちょー
みんな使ってる
羨ましい
羨ましいけど
そうね
いやー
すごいよな
やっぱそこまで力を入れるのは
素晴しいなと思うね
かねりん
しぶちょーまだねいろいろなことに
力を分配してるからね
ねしぶちょー
しぶちょー
俺もねポンと自分の事業のお金で
あーちょっと買いましたわって言えるぐらい
稼げるといいんですけど
まあそこまで至ってないんだね
かねりん
AIの人の文脈を
濃くしていく
しぶちょー
来年ぐらいにはねもう
DigiPixパー置く場所なくなっちゃったな
いっぱい買って
ってなっちゃうぐらいの
かねりん
リスナさんに配っちゃう
しぶちょー
配っちゃうかなみたいな
ヒカキンみたいな感じでね
スイッ2配るぐらいの感じで
かねりん
いいね
今回の落ち着きLTの景品
なんとかスパクです
しぶちょー
今年俺の3Dプリンター製の
トロフィーなのに
来年DGX Sparkなの
すごい飛躍だよそれは
かねりん
1周年で伸びるかもしんない
しぶちょー
確かにそのぐらい伸ばしていかないといないね
かねりん
でもやっぱAI1年でどうなるか
分かないって言われてるじゃん
ってことはこの番組も1年
どうなるか分かないぐらいのさ
ちょっとワクワク感は欲しいよね
しぶちょー
いやそうね
かねりん
なんかもうこんな
なんていうこの
二次関数のグラフいらないのよ
バーンみたいな
しぶちょー
そうだからさもう
フォロワーとかもさ
ちょっとずちょっとず
1万人とか
2万人とか
そういうとをボンと目指していかないと
かねりん
何かが起きたら
って感じだよね
やることは淡々とさ
やっぱ
り誠実にやってれば
って感じな気はするんだけど
しぶちょー
そうだねコツコツは大事だけど
きっかけ作りも大事で
かねりん
そうですね
しぶちょーはね
よくイベントとか誘ってくれるけど
そういうのも大事だなと
しぶちょー
ポッドキャストイベントにちゃんと出て
ポッドキャスト仲間を作るってのも大事だし
かねりん
いや1年結構出ましたよ
しぶちょーのおかげで
3つ4つね
しぶちょー
いやまだまだいっぱいあるから
かねりん
締めは単独イベントでね
しぶちょー
そうねあそっか
かねりん
これ出てる時にはチケット締め切りしてますけど
しぶちょー
前日じゃね
かねりん
明日イベント
しぶちょー
じゃない多分
かねりん
そんな
金曜日だもね
明日イベントですよ
来る人来る人
しぶちょー
いいね
絶対やっちゃいけないのがさ
インフルエンザにかかるとかね
ここからちょっと
かねりん
何も言わずに来てほしい
俺
しぶちょー
たちがね
かねりん
もう俺も何も言わない
しぶちょー
いやそれは良くないよ
主催者側として良くない
かねりん
何も
俺はね引きこもってるんで
病気かからないんですけど
しぶちょー
俺がちょっと気を付けないいけないよな
いろんなと出てくから
かねりん
そうだね
しぶちょー
そうならないように気を付けます
かねりん
リモートで出演してもらいますけど
リモートだ
しぶちょー
いやーやっぱね
現地に行ないといけわ
そうだごめ
結論一個忘れてた
かねりん
はい
しぶちょー
結論
ローカルLLM
頑張ってやりましょうと
で大きいモデル作れない
使えない人も
LM Studioで8ビリオンとか
ちっちゃいモデルを動かしてみると
モデルのサイズと性能
8ビリオンだとちょっとあれなんだけど
なんとなくこう使い勝手
わかるんじゃないかなと思います
と
っていうのと
えっとね
あえておすすめするのは
Qwenのモデルを
API経由で使うこともできるのね
そんなに高くないんだけど
ローカル
LLMがもしも
あったらという前提で
QwenのモデルをAPI課金して
ちょっとこの
今AIに任せるタスクを
そっちに振ってみるみたいな
かねりん
シミュレーションみたいなね
しぶちょー
別にクエじゃなくても
いいけどねその場合はね
もっと安いモデルにだけど
近しい性能のやつが
APIで使えるんで
そういうのを試してみると
いいんじゃないかなと思いますね
かねりん
イメージそうだよな
イメージ湧かないからあんまりやる気せのだよな
しぶちょー
実際そのローカルLLMがあったら
みたいな前提で
QwenのAPIを動かしてみるのはありだし
QwenはQwenでね
Qwen Codeってのがあるのよ
Qwen Code
Claude Codeとかさ
Codexみたいなやつ
専用のハーネスがついて
ついた
という仕組みがあって
Qwenを
Claude Codeみたいに
使いたいんだったら
Qwen Codeか
オープンコード
オープンコード
オープンコードはClaude Codeのオープン版みたいなや
でモデルがいろい選べるね
自由に
かねりん
はいはいはい
クロとか何でも選べ
しぶちょー
他の中国系のやつも選べると
かねりん
はいはいはい
しぶちょー
DeepSeekとかも別に選べるんだけど
Qwen CodeはQwenに特化して
チューニングされてるみたいな
そういうものをちょっと入れて
使ってみるっていうのもアリだと思うね
それはちょっとね
重量課金になるから
ストックというか課金の量は
気をつけなければならないけど
かねりん
それでイメージついたら
じゃあちょっとローカルやってみるか
しぶちょー
このぐらいの性能のもので
当然ねそのAPIで使えるモデルと
自分のローカルで組めるモデルの
性能とか速さってのが違ってくるんだけど
なんとなくローカルに
落とすっていうのはこういうことかな
みたいなシミュレーショはできると思うからそれで
これはちょっとクエコードを少し
触って
いい感じでフォールバックしていけないかな
っていうのを探ってみようかなとは思ってる
って感じかな
かねりん
Qwen Code
しぶちょー
Qwen Codeもどのくらいの性能か分かないけど
ちょっとね
前言ったけどさ
トークンダイエット
話みたいな
トーンレコーディダイエットしたいって
みたいな話したじゃん
かねりん
トークンレコーディング
なんか記録してどれだけ使ったか
しぶちょー
そうLLMのトークンを
節約するっていうことを
ちょっと突き詰めていないといけないんじゃないみたいな
かねりん
はいはいはい本当思うわ
しぶちょー
その過程でちょっとねQwen Code
の活用も少し考えてて
かねりん
うんうん
Qwen Code使うといいの
しぶちょー
あのね
だから結構安いのよ
クエで
だから
その大きい処理を
Qwenの方に投げちゃうみたいな
大きというかタスクの部分を
分解して
Qwenの方に投げちゃって
節約するみたいなね
こともできんじゃないっていう話ね
かねりん
なるほど
しぶちょー
意外とこの前Qwenの
ミートアップ行った時は
使われてないんだけどあんまり
APIで使うのもいいんだよみたいなこと
言
ってたから
ありなんじゃないかなと思ったね
かねりん
なるほど
しぶちょー
節約の一環としてちょっと使ってみようかな
っていうのはあるね
かねりん
節約ね
しぶちょー
どんな節約
どっちにしろ追加の出費にはなるんだけど
かねりん
うん
AI節約罠みたいなのあるよね
節約してるつもりで
どどんなんか増えてくみたいな
しぶちょー
そう
Claude CodeとCodex両方で
200ドル課金してるけどさ
交互になくなるもんな
ちゃんとゼロになるからさ
かねりん
200ドルプランだっ両方
しぶちょー
両方200ドルプラなんだけど
かねりん
それであれだね
日中仕事しとって
それで全部なくなるの相当使ってるよね
しぶちょー
そう今週はね
あれで結構使って
AI
Zoom参加できる
AIボットみたいなやを作って
かねりん
そこから作ってくれたやつね
しぶちょー
あれで結構消費したのと
あと動画の編集が
一本あったから
それで結構消費したかな
かねりん
動画編集をさせてる
しぶちょー
そうね
ちょっとだけどね
YouTube動画を一本上げたからさ
案件で
かねりん
しぶちょーチャンネル
しぶちょー
しぶちょー技術研究所チャンネル
かねりん
いろやってるね
しぶちょー
チャンネル登録して7000人くらいいるだよ
私のチャンネルも
かねりん
7000人
しぶちょー
1万人を目指しております
かねりん
人気者だね
銀の盾は10万人
しぶちょー
遠いよね
動画めったに出さんけどね
今回ちょっと動画を出した
した時にちょっと使ったから
うんうん
近況、登壇、チャイ作り
しぶちょー
なるほどね
あとそう
静岡県の
かねりん
なんかツイートしてたね
しぶちょー
工業技術研究に
かねりん
なんかこっつい
とこでやってるなと思
しぶちょー
AIエージェントとみたいな話をしてきたんだけど
かねりん
そういう話したんだ
しぶちょー
その資料作るのちょっとAI使ったし
結
かねりん
構じゃあAI系の
登壇は多いじゃん
しぶちょー
多いね
登壇は多いね
だけどそのなんか
100万円のPC使って
みたいなそういう話の場じゃなくて
AIってなんぞやみたいな
中小企業の方たちに
話すってばっかだどっちかって言ら
ものづくりの世界で
製造業でやってる
かねりん
ものづくり系の
人たち
しぶちょー
そうだね
でもそれもシードル経由で
来た話だけどね
かねりん
シードル多いね
しぶちょー
この仕事は
静岡県の工業技術研究所の
講演は
俺個人で受けたんだけど
もともとその技術研究所の人と
知り合ったのはシードル経営だったから
それでこうなんか
いただいたって感じかな
AIの仕事も増えており
おちつきAIもちゃんと宣伝してきたんで
かねりん
ありがとうございます
おちつきAI
2年目
突入ですよ
しぶちょー
突入しておりますね
かねりん
2年目何するみたいな話を
本当にだからイベントでね
ちょっとしたいんだよね
しぶちょー
していきましょう
かねりん
お願いします
しぶちょー
楽しくなってきどう変化していくか
もう爆伸びして
やっぱね
ポッドキャストなんちゃらアワード
みたいなやねやっぱ
撮らないと
かねりん
そうだね
しぶちょー
ポッドキャストスタジオの箱をつける意味でも
かねりん
このAIで撮れなかったら
なかなか難しいよね
しぶちょー
そうね
かねりん
マニックなテーマが多いから
しぶちょー
でもながらAIさんとかもね
ノミネートされてるん
かねりん
そうだね
あれはあれか
一時選考はリスナ投票
しぶちょー
リー投票なのよ
かねりん
人数の数の力か
み
んなの力だな
しぶちょー
今じゃ難しいな
来年はちょっと間に合わないだろうな
再来年
かねりん
何が起こるか分からないところを楽しみに
しぶちょー
そうね
かねりん
いろいシリーズ増えてきますから
しぶちょー
おちつきシリーズが
かねりん
おちつきシリーズ今これ
これ9月末でしょ
2個ぐらい始まるんでね
しぶちょー
すごいね
もう世の中落ち着かせようとしてるじゃん
かねりん
もう本当に
理念は落ち着きだよね
なんか気づいてみたら
しぶちょー
もうすごいね落ち着き
広がっていくじゃないですか
かねりん
おちつきクラシックがついに始まるっていう
始
しぶちょー
まる始まる作業を
ずっと俺も何ヶ月も受け続けてて
かねりん
ほんと吐きそうですね
そうですねあれはね
ライセンス管理ね
あと落ち着きのブランディング
っていうのが始まるんですよ
しぶちょー
いいね
かねりん
番組をブランディングしながら
しぶちょー
落ち着き思想の番組としては
誇らしい限りでございますよ
かねりん
でまあそういうのもね
いろいろ
うわーってなって
しぶちょー
おちつきサミットね
おちつきサミットやたい
いいね
かねりん
こんな感じです
しぶちょー
ということでちょっと今日そんな感じの結論になりましたけども
ちょっとね
しぶちょーさんちょっとその情報古いよとか
私も
あんまりパソコンローカルLLMのやつ
詳しくないんで間違ってる情報とかあったら
補足していただけると
私も勉強になりますので嬉しく思います
パソコンはいつでも
提供受け付けておりますので
よろしくお願いいたします
ねえ
落
ち着きAI小敷でございます
やっぱ物恋していかないとね
かねりん
いや本当大事ですよ
本当に
物が
物の方が嬉しいんですかでも
しぶちょー
あーお金よりってこと
かねりん
お金より物をくださいみたいな感じ
結構しぶちょー物の提供多いよね
いや物の提供多いよ
しぶちょー
多いけど
困るけど
かねりん
3Dプリンターいっぱいみたいな
しぶちょー
3Dプリンターはいいよ
AIボイデコーダーとかね
かねりん
いっぱね
しぶちょー
いっぱいあるんだけどさ
まだあと2件くらいレビューするんだけどさ
変わら音でも言っちゃうあれだけど
かねりん
そんないっぱい来るんだ
しぶちょー
来るよ
かねりん
XとかXが多いの
しぶちょー
ブログ経由で結構来るね
かねりん
ブグね
しぶちょー
ありがたい話ですけど
かねりん
いっぱいAIボイスデコーダ
しぶちょー
くならずてもらうけど
いやーそんな変わらんよなぁなんであんな ハード出すんだろうなみんな
かねりん
うーん っ
ていう違いないんだハードに
ボイレコードだからね 別にマイク拾ってり一緒じゃないですかみたいな
しぶちょー
形ぐらいでしょ
形とかどこにくっつけるかとあと充電端子
俺必殺されてるけどその タイプBでタイプCで充電できるようにしてや
オリジナル端子つくんねえ
っていう風に言ってるけど
かねりん
そうだね
薄さを出すためでしょ
しぶちょー
薄さを出すためにね
ケーブルの管理の方がめんくさいから
薄くなった分ケーブル増えてるやんけって思うからね
かねりん
そうだね
しぶちょー
はい
というところで
本日はこんな深掘り回でございましたけども
普段はですね
火曜日には1週間のAIトピックを振り返る
速報回というものもやっておりますし
たぶこの時点では
ダイジェスト版みたいなやつ
かねりん
落ち着き切り抜き
おちつきAI切り抜きが
しぶちょー
始まっているはずなので
かねりん
新しい番組として始まってます
しぶちょー
そちらもぜひともですね
2時間も喋ってますから毎回ね
それが切り抜かれてスピーディーに聞ける
ダジェストで聞けると
かねりん
いいとこを取ってます
しぶちょー
いいとこを聞き
いいとこがあったらこの現役も聞くと
一つ目でいろいしい番組になっておりますので
ぜひとも皆さんよろしくお願いいたします
番組の公式ハッシュタグは
シャープおちつきAI
ヘアナで落ち着きアルフベットでAIです
かねりん
番組の感想はXなどSNSで
ハッシュタグをつけて書き込んでください
今回の話良かったな
落ち着いたなという人は
星5のレビュを
スポーティファアップル
お願いいたします
概要欄にリンク貼ってありますので
さっきの切り抜きチャンネルも
スポーティファアップル
フォロー星5いただけると嬉しいです
しぶちょー
よろしくお願いします
かねりん
それではまた一週間
落ち着いて過ごしていきましょう
おちつき
お疲れした
しぶちょー
ありがとうございました
かねりん
心臓が限界突破してるな
しぶちょー
寝なくてよかった
コーヒー飲んだから眠くなくなったわ
かねりん
カフェン効くんだね
チャイじゃなくてね
しぶちょー
チャイ続けてるの?
チャ続けてるよ
かねりん
どうなの
やっぱりおすすめできる
しぶちょー
おすすできるけど
むずすぎて最近悩んでる
かねりん
そういう領域に行ったんだ
しぶちょー
お店でさ飲むじゃんチャイを
チャイを飲みに行くこともあるのよ
かねりん
すごいね
しぶちょー
インターネで調べるとさやっぱり東京駅周辺にも
チャイを出してる
お店があって
かねりん
めっちゃありそうチャイ専門ティ
専門店
しぶちょー
この前行ったのよ
女子しかいない
かねりん
女子いるんだね
しぶちょー
お姉さまと
本当に若い
本当に若いと言うお姉さまに対して言うんだけど
お姉さま方と
女子高生みたいな
かねりん
女子高生とかも
ハマってる
しぶちょー
中に突然の全身緑のおじさんが現れて
そこで茶飲みながら
全身緑のパソコン開いて
カチカチやってるみたいな
かねりん
それはなんか自分でもやってる人
みたいな感じなのかな
しぶちょー
何が
かねりん
そうやって自分でも自宅で
入れちゃってるような人たち
しぶちょー
いや違うよ普通にチャイを飲みに来てる
すごいオシャレな
カフェだよ
かねりん
コーヒー専門店いっぱあるじゃん
朝入りのさ
ちょっとオシャレな高いやつ
そういう雰囲気
しぶちょー
店舗にチャイの
スパイスが売っててみたいな
高いんだよね
めっちゃね
かねりん
高いんだなスパイス
コーヒーより安いのかな
しぶちょー
いやー種類が多いじゃん
なんか混ぜなきゃいないものの
かねりん
材料ね
しぶちょー
カルダモンとか
ジンジャーとかいろいあるじゃん
でなんかそこで飲んだものを
家で再現しようと思っても
なかなかできんくて
かねりん
あーやっぱそうなんだ
温度管理とか難しい
しぶちょー
でも紅
茶が
違うんだろうな
何が
かねりん
難しいの配合
やるのはもうただお湯入れるだけ
しぶちょー
お湯入れて
何分煮るかとかもさ
かねりん
時間管理
コーヒーは温度とさ
時間じゃん
そんな感じ
しぶちょー
あと分量
かねりん
どれだけ入れるか
しぶちょー
砕くのよ
砕いてこうやってこすってさ
で混ぜるんだけど
何粒入れるとかもあるし
どのくらい煮出すかもあるし
紅茶もどのくらい煮出すかもあるじゃん
で牛乳
かねりん
結構一杯飲むのに30分くらいかかるの
しぶちょー
あーそうだね
30分かけたらかけすぎかな
15分とかかなでも
かねりん
あーでもそんなもんで飲めるの
しぶちょー
どのくらいさ砂糖入れるかとかさ
ミルク入れるかもあるし
かねりん
結構ね 頭使うねなんか
しぶちょー
そうなんかそのコンビネーションみたいなやつを
追求するのがまあ確かに面白いよ
なんだけどねいまだに
なんかお店で飲んであーうめーなって思ったさ
スタとかでもチャイあるんだよね
かねりん
あるんだ
チャイティラテみたいな
しぶちょー
ああいうの同じ味を出してるんだけど
できないよね
かねりん
難しいんだね
それ腕なのそれは
素材というより
しぶちょー
腕なのか
ファターが多すぎて分かんないんだよね
腕なのかチョイスした
スパイスがそもそもそんなに良くないのか
紅茶が良くない
紅茶が良くないと思うんだな
かねりん
ベース紅茶は
しぶちょー
紅茶の煮出し方も
なんか
良くないとか
いろいろあると思うんだよな
なるほどね
まずってなる
まずって
きつ
かねりん
いねそれ
冷やしは飲める
手出すと沼っぽいな
しぶちょー
いやでもちょっと面白い
唯一人間らしい営み
かねりん
ね
せかせか生きてる中のちょっとの
しぶちょー
その間にポッドスト撮ってんだけどさ
見出しながら
かねりん
撮ってんだ
そうなんだ
はい
ということでさよなら
ありがとう