ローカルLLM運用
オープンウェイトモデルのローカル実行、並列数、GPU、KVキャッシュ、メモリ制約を扱う。
拡大するとさらに表示 · 0 本
#211 AI界からの刺客、「からあげ先生」襲来！！【コラボ】
ものづくりnoラジオ-しぶちょー技術研究所製造業で電子回路設計をしていたからあげ先生が、遺伝的アルゴリズムからディープラーニングへ転じた経緯や、DGX SparkでローカルLLMを動かす実例を語ります。フィジカルAIやヒューマノイドの普及障壁、ROSでルンバを動かすロボット入門についても触れられています。
63【圧倒的な速さ】DeepSeek-V4.1-Flashの実力
AI駆動開発部の日常DeepSeek V4.1 Flashの速さと実用性について、GLM 5.3 Flashとの比較を交えながら話す。フロントエンド実装では、GLMで約2日かかったタスクをDeepSeekが半日ほどで終え、268TPS前後という測定結果も紹介された。画像入力への対応やデザイン実装の評価、ローカル実行の可能性にも触れる一方、並列数やKVキャッシュ、PCメモリ、ハーネスの重さが現...
新型Mac mini M6がAI時代に欠かせない理由と買うべき対象者。
AIで仕事をサボるラジオAppleが突如発表したM6チップ搭載の新型Mac miniについて、その性能とAI時代における活用法を解説。M6チップはニューラルエンジンが2基に増え、GPUにもAI回路が搭載されたことで、AI処理能力が大幅に向上しました。記事では、AI開発者や重い作業を家で行うユーザーにMac mini M6を推奨する一方、ローカルLLMを本格的に使うならM5 Pro/Maxチップ...
[速報回]飲食店のメシ写真がキモすぎる、犯人はどのAIだ？(ep.98)
おちつきAIラジオ今回の速報回では、最新のAIトレンドが多岐にわたって議論されました。まず、開発元不明のステルスモデル「OX ALPHA」が話題となり、その性能がClaudeのFableやOpusに匹敵するとされ、無料で利用できることから注目を集めています。パーソナリティは、中国製モデルの動向や、ローカルLLMの重要性、そして自身の開発する「おちつきAIラグ」の改修...
エピソードを読み込めませんでした。もう一度お試しください。
エピソードを読み込んでいます…