Smart SplitとVidi
TikTok、CapCutロング動画やライブからショート切り出し新機能、Smart Splitの頭脳、その正体と挫折譚 ByteDance Vidi。
今日はちょっとマニアックだけど、動画クリエイターなら絶対知っておくべき、ByteDanceの最強AI、Vidiについて深掘りしていこうと思います。
以前、ポッドキャストで、TikTokの新機能、Smart Splitがすごいって話をしたの覚えてる?
CapCutには、もともとあった長尺動画を自動で、ショート動画に分割してくれる機能。あれが、TikTok本体にも実装されたって話。
で、今回のメインテーマは、その裏側にいるバケモノAIの話です。その名も、Vidi。
一言で言うと、動画の内容を、人間並みに、あるいはそれ以上に理解して、勝手に編集までしちゃうAIです。ここがヤバいよVidiさん。
ByteDance、TikTokの親会社が開発した、このモデル、ただ動画を見てるだけじゃありません。
時間と場所の完全特定、スペシオ、テンポラルグラウンディング。
普通のAI、この動画のどこかに、犬がいる。
Vidi、開始3分20秒から45秒の、画面右下の、この座標に、犬がいる。
ここまでわかってるから、縦型動画への自動リフレーム、切り抜きが完璧にできるわけです。
文脈を読んだ、ハイライト抽出。これが、スマートスプリットの正体です。
面白いところや、オチを理解して、何も指示しなくても勝手に切り抜いてくれます。
30分以上の長尺動画も一発で、処理できるのが強み。これ、他の技術だと結構難しいんです。
つまり、カプカットやTikTokで、我々がお世話になっているあの便利機能、その中身こそがこのVidiだったというわけ。
Vidiの実力と試行錯誤
2、実力、Vidiを、ローカルで動かそうとして玉砕した話。
さて、ここからは、失敗談。
そんなにすごいAIなら、俺のPCで動かせば、最強じゃん?って思うよね。俺も思った。
で、相棒のAIエージェント、アンティグラビティと一緒に、このVidi、正確には、オープンソース版のVidi-7Bを、ローカル環境で動かそうと試みたわけです。
挑んだ環境。
Windows PC、WSL2環境。
そこそこ強いGPU。
結果、惨敗。
いやー、きつかった。まず、環境構築の難易度がえぎい。よくわかってない。
以下は、過剰書きは、AIと進める中で起きたことなんだと思う。
フラッシュはテンションが入らない。
WSLの依存関係で無限にエラーが出る。
やっと動いたと思ったら、クーダーアウトオブメモリー、メモリ足りねーよで落ちる。
結局、Googleコーラボ、クラウド上の超強いマシンを使えば動くことはわかったんだけど、
自宅のPCで、さくっと、全自動動画生成という夢は、一旦お預けになりました。
教訓。
Vidiは、一般人が手元で飼うペットじゃなくて、バイトダンスの巨大サーバーという檻の中でこそ輝く、猛獣でした。
素直にTikTokやカプカットの機能として使うのが、現時点では一番賢いし、早いです。
3、まとめ、Vidiはどう使うべき?
今回の調査と実験でわかったことはシンプルです。
Vidiは、動画理解AIの最先端であることは間違いない。
TikTokスタジオやカプカットのスマートスプリット、自動分割の裏側には、
このVidi、または、その発展版がいる可能性が、極めて高い。
ローカルで動かすのは、シュラの道、エンジニアレベルの知識と、モンスター級のGPUマシンが必要。
結論。
中身を知って、ツールとして使い倒そう。
裏でこんなすごいAIが動いてるって知ってるだけで、ツールの使い方が変わる気がしない。
あ、今Vidiが俺の動画解析してるな、って思いながら、スマートスプリットボタンを押すと、ちょっと愛着が湧くかもしれません。
もし、どうしてもローカルで動かしたい、っていうもさがいたら、
Googleコーラボのプロプラン契約してから挑むことを、強くお勧めします。
俺みたいに時間を溶かさないようにね。
このブログ記事は、AIエージェントと共に、リサーチ、執筆、画像生成を行いました。
TikTokVidiバイトダンスAI動画編集、動画生成AIカップカットスマートスプリット、クリエイターテックトレンドAI活用。
