00:00
からあげ帝国放送局、始まります。この配信では、AI関係の会社で働きながら、作家として本を書いたり、個人でメーカーとしてものづくりを楽しむ私からあげが、技術の話であったり、個人のスモールビジネス、その
他雑多なことをお話ししていきます。
昨日はですね、祝日でお休みで音声配信もできなかったんですけれども、子供のですね、空手の大会に行ってきました。前の音声配信で話したんですけれど、実はですね、子供今空手をやっていて、私は1回体験をして、や
っぱり向いてないなと思って、それっきりだったんですけれども、娘の方はですね、今も続けていまして、初めての大会ということで、3人とですね、対決というか、
組手をするような形だったんですけれども、1人目が不戦勝でしたね。相手が恐れをなしてと言いますか、あのバキっていう格闘の漫画でですね、
渋川豪輝っていう合気道の達人がですね、やっぱりその危機を察知すると、そこにたどり着けないという危険な場所にはいけないっていうですね、そんな説を話しているんですけど、多分あの状態ですね、
私の娘に恐れをなして、1人目は会場に来れなかったんじゃないかなと思っています。
で、あとの2戦もですね、なんと全勝してですね、結構男の子とかもいて、男女混合でやっていたんですけれども、なんかもう全勝でしたね。
なのでそのまま優勝みたいな感じで、このまま続けていったらですね、金メダルも夢じゃないなということで、今後が楽しみですといったところですね。
今日も実はですね、東京に出張なんですけれども、朝散歩ができなかったんですけれども、ちょっとお昼休みの時間を使ってですね、空いた部屋でですね、この収録をしていますという形ですね。
今日は早速本題に行ってみようと思うんですけれども、今日はですね、ポッドキャストにおけるノイズ除去と、あとは音声認識についての話をしようかなと思っています。
で、今ってですね、AIによってこのノイズ除去の技術とかですね、音声認識の技術っていうのが非常に性能が上がってきていて、いろんなことにもちろん使えるんですけれど、特にですね、私のようにポッドキャストを
している人にとっては非常に重要な技術になっています。
加えてですね、私はですね、普段はお散歩ポッドキャスターとしてですね、公園を散歩しながら収録しているんですね。
なので、どうしてもですね、いろいろな鳥の鳴き声とかですね、車のノイズ音とかが入ってしまってですね、そのたびにですね、聞いている方に対して申し訳ないなという気持ちになってしまうんですけれども、そう
いうことに向けてですね、強い味方がノイズリダクションですし、その収録した後ですね、今日のポッドキャストの内容が概要としてどんな話で何分にですね、どんな話をしているかみたいな一覧となっているんですね。
03:09
ここらへんはですね、手作業でやるのは地味に大変なので、私は昔は全然やってなかったですね。なので、ポッドキャストそのまま取っ手出ししてようやくポッドキャストをやることができるようになっていますので、そこ
らへんはですね、全部音声認識の技術を使ってですね、そこらへん文字起こしした上でAIに概要をまとめてもらっているという形になっていますね。
ここらへんはですね、手作業でやるのは地味に大変なので、私は昔は全然やってなかったですね。
なので、ポッドキャストそのまま取っ手出ししてようやくとかもなしの状態でアップロードしていたんですけれども、今はですね、全部ノイズ除去と音声認識含めてそのポッドキャストの音源のSpotifyですね、プラ
ットフォームへのアップロード含めて全部AIにやってもらうので、非常に楽だなといったところですね。
このあたりはですね、今やっぱりコーデックスとかクロードコードとかAIコーディングツールですね、そういうのをバリバリ活用されている方は何らかの形で自動化しているんじゃないかなと思いますし、私自身は
ですね、自作のAIアシスタントソフトですね、Zangiというものを作っているんですけれども、それ経由でコーデックスというオープンAIのAIコーディングツールを動かしてですね、スマートフォンでですね、録
音した後ですね、
もうクリック一つですね、音源のアップロードして実行ボタンを押したらですね、AIがスキルを発動して自動でノイズリダクションして音声認識をして要約を作ってアップロードまでをしてくれるといった形になって
います。
昨日ですね、このノイズリダクションの部分にNVIDIAさんのですね、リユースって言うんですかね、といったですね、最新のですね、ノイズ除去のAIモデルが出ていたので、前回の配信からですね、試し始めたとい
ったところですね、前回の配信を聞いてみたんですけれども、自分の耳で聞いた感じはですね、すごい良かったですね。
ノイズがですね、いつもは車の音とかがどうしても入ってしまってですね、前回も最後の方ですね、結構車の近くで、やっぱ散歩してる時走って行ったんですね。
なので、これいつもだとかなり気になるノイズになってしまうなと思っていたところが全然なくてですね、本当にクリアに聞こえていたので、このノイズリダクションは本当すごいなという感想ですね。なので、今後も
ですね、普段使っていきたいなと思っていますというところですね。
実はこのですね、ノイズリダクションの効果についてはブログ記事も書いていますので、概要欄からリンクを貼っておきたいと思いますので、よかったらそちらも見てください。
そのノイズリダクションのですね、仕組みの簡単な説明とかちょっとここでは割愛しますけれども、それに加えてですね、あとはこのノイズリダクションと文字起こしの関係ですね。
06:04
それが個人的に気になっていたので、そこを中心にですね、比較して実験してみたことをですね、テックブログとして久々にアップロードしてみたといった感じですね。
どういったところが気になっていたかというとですね、これもツイッターかな、誰かがですね、ツイートしているのを見て知ったんですけれども、これノイズリダクション非常に強力だけど、文字起こしはですね、このノ
イズリダクションをかけてノイズを取ってからやるよりもですね、
ノイズありの元々のやつで文字起こしをした方が性能がいいですよ、みたいなことが書かれていたんですね。で、なんとなくですね、直感的には1回ノイズをきれいにしてから文字起こしをした方が聞き取りやすいので、
人間だったらもちろんその方が聞き取りやすいですし、AIも同じなんじゃないのっていう風になので、
要はこのノイズリダクションをした後に文字起こしをした方が良いのじゃないかっていう風に思ってしまうんですけれども、必ずしもそうじゃないですよって話が書いてあったので、まずは実際にですね、自分のデータで
どうなのかっていうのを試してみたといった形ですね。
いくつか実験をしているので、詳しくはですね、ブログの方を見ていただければいいんですけれども、概要としてはですね、まあ確かにそのツイッターで言って言われていた通りですね、ノイズリダクションをしないで
そのまま文字起こしをした方が性能が良かった。
逆にですね、ノイズをNVIDIAさんのAIモデルを使って低減してからですね、文字起こしをすると間違えてしまうようなケースが多く見られたっていったところですね。これはですね、ちょっと一口で言うのが難
しいんですけれども、結局ですね、ノイズリダクションという仕組み自体もですね、単純にノイズをですね、低減しているというよりかは、ノイズの成分と人間の話している成分をですね、
AIがうまくですね、聞き分けてですね、音声をまた合成し直すっていうような、単純にノイズを取っているっていうよりかは、ノイズだらけの音声からですね、その音声の特徴を捉えて再度合成をし直すような、なんか
そんなイメージで作っているらしいんですよね。
ちょっとここらへんですね、論文をしっかり読めていないので、間違っていたら大変申し訳ないですが、要はですね、AIがある意味合成するような形になっているので、自然の人間の声とは結構違う特徴を持っているは
ずなんですね。
一方ですね、今音声認識は、私はウィスパーっていうモデルを使っているんですけれども、これはですね、非常にたくさんのですね、人間の声ですね、特にノイズも多く含まれたようなですね、様々な実際の音源をですね、
学習させて音声認識をするっていったことをしているので、要は結構ノイズにもともと強いような音声認識のモデルなんですね。
09:01
しかもやっぱり学習しているのが自然な人間の声なので、ある意味ですね、AIで合成された声より、実際に学習しているですね、ノイズ混じりの人間の声の方が割と聞き取るのが得意という特徴があるので、実はですね、
こういったノイズをとってやるAIと組み合わせると、逆にですね、性能が下がってしまうって現象が起こったりもするっていったところですね。
ただですね、必ずしもこのReuseっていうNVIDIAさんのモデルを使ってから認識すると性能が下がるっていうわけでもなくてですね、かなりノイズがひどいときの状態ではですね、このNVIDIAさんのモデル
を使ってから音声認識をした方が良くなるようなケースもあったりしましたね。
なのでここらへんもですね、実際に使うデータとかですね、収録の環境とかですね、あとはモデルのサイズですね、音声認識のモデルもですね、いくつか大きさが違ったりしてですね、それぞれ性能が違ったりするん
ですね。
もちろん大きいモデルの方は基本的に認識性能が高いんですけれども、大きなモデルを使えばですね、このノイズ除去をしなくても基本的には良い性能が発揮できたりしますし、
小さいモデルだと逆にですね、前にノイズの除去するモデルを使った方が性能が良くなったりとか、要はですね、実際のデータとかによってですね、結果は変わってくるので、
ネットで言われていることとかをですね、ただ鵜呑みにせずにですね、実際のデータで確かめてみる。そしてその現象が何で起こっているかっていうのをですね、理屈を自分なりに理解して把握しておくってことは重要
なんじゃないかなと思います。
結構論文とかも内容難しいものもありますけれども、そこらへんもAIに聞くとですね、割と噛み砕いて教えてくれるので、自分なりに理解するとですね、色々こういう組み合わせをどうするかとか応用の範囲も広がってく
るんじゃないかなと思いますし、
自分に合わせたですね、AIの活用方法を見出していくっていうのが重要なんじゃないかなと思っています。
なので私はですね、今回の実験も踏まえてですね、まず録音したデータは並行してですね、リユース、NVIDIAさんのモデルでノイズ除去をしたものは、それは残しておいて、これは配信用の音声としてアップロード
しますと。
それと並行してですね、リユースですね、ノイズリダクションは行わずにそのまま文字起こしをしてですね、その後生成AIですね、いわゆるLLMを使って要約して概要欄を作ったりみたいなことをするっていうワーク
フローにしていこうかなと思っていますといったところですね。
ポッドキャスターの方はですね、結構ここら辺の文字起こしとかノイズリダクションとかAIを活用している方もいるかなと思いますので、活用していない方もですね、よかったら参考にしてみていただけると嬉しく思
いますし、
12:00
このMISPAを使った文字起こしですね、ここら辺はですね、手軽にコマンド一発でですね、時間付きで出力してくれるようなですね、トランスクライバーツールっていうものをですね、作ってOSSとして公開したりも
していますので、よかったら音声認識だけ手軽にやりたいといった方はですね、こちらもですね、参考にしていただけると良いんじゃないかなと思ったりします。
ぜひですね、ポッドキャストやっている方は自分のデータでですね、いろいろ組み合わせて、どの組み合わせが順序が良いかっていうのを自分で確認してみることをお勧めしますといったところです。
そのためにですね、ブログが何かの参考になれば幸いです。
といったところで本日はコメント返しは省略したいと思います。
唐揚げ帝国放送局ではお便り大募集中です。
SNSのハッシュタグの唐揚げ帝国放送局であったり、無料のコミュニティの唐揚げ帝国のお便りチャンネルでコメントをいただきましたらこの配信でも取り上げていきますので、ぜひどしどしコメントの方をお寄せ
ください。
といったところで本日は以上となります。
それではまた。
