ローカルLLM運用
オープンウェイトモデルのローカル実行、並列数、GPU、KVキャッシュ、メモリ制約を扱う。
LISTENverse
拡大するとさらに表示 · 0 本
63【圧倒的な速さ】DeepSeek-V4.1-Flashの実力
AI駆動開発部の日常DeepSeek V4.1 Flashの速さと実用性について、GLM 5.3 Flashとの比較を交えながら話す。フロントエンド実装では、GLMで約2日かかったタスクをDeepSeekが半日ほどで終え、268TPS前後という測定結果も紹介された。画像入力への対応やデザイン実装の評価、ローカル実行の可能性にも触れる一方、並列数やKVキャッシュ、PCメモリ、ハーネスの重さが現...
[速報回]飲食店のメシ写真がキモすぎる、犯人はどのAIだ？(ep.98)
おちつきAIラジオ〜生成AIニュースをやさしく解説〜今回の速報回では、最新のAIトレンドが多岐にわたって議論されました。まず、開発元不明のステルスモデル「OX ALPHA」が話題となり、その性能がClaudeのFableやOpusに匹敵するとされ、無料で利用できることから注目を集めています。パーソナリティは、中国製モデルの動向や、ローカルLLMの重要性、そして自身の開発する「おちつきAIラグ」の改修...
エピソードを読み込めませんでした。もう一度お試しください。
エピソードを読み込んでいます…