OpenClawプロジェクトの進捗とIoT活用
こんにちは、栗林健太郎です。 前回の更新から2週間ほど空いてしまいました。
その間、何をしていたかというと、 あいかわらずAIと遊んでいました。
OpenClawの話については、前回のエピソード でしたと思いますけど、
それからもまたずっとやってる感じですね。
なんというか、ほとんど毎日何かしらいじるっていう感じで、
いわゆる、よく言う盆栽みたいな、
なんか大きい変更するわけじゃないんですけど、
毎日ちょこちょこちょこちょこ気になるところをいじるみたいな、
そういうプロジェクトになっています。
結構いろんなことをやってですね。
僕のOpenClawは、Raspberry Pi 4で動かしてるんですね。
Raspberry Pi 4は、もともと全然違う用途で使おうと思って買って置いてあったんですけど、
ディスプレイがついてるんですよ。
ついてるというか、つけたんですよ。
なので、Raspberry Piにそのまま直接ディスプレイがついてるっていう感じのものなんですね。
Raspberry Piなんで、当然ですけど、GPIOとかそういうピンが後ろの方にいっぱいあって、
これ、せっかくディスプレイもあるし、
そもそもRaspberry Piなんで、IoTっぽいことしたいなと思って、
CO2センサーを持ってたんで、それをつけてですね、
二酸化炭素濃度とか温度とか、そういうものをとったりして、
さらには、Raspberry Pi用のカメラも持ってたんで、それもくっつけて、
自分が台席していて、まずCO2濃度が一定以上だったら、
ディスコードの方に通知するとか、
あるいはそのディスプレイって音を鳴らせるんで、HDMIでつながってるんで、
そこからTTSで音声を作って、音声で窓開けろって言ってくれたりとか、
ディスプレイがせっかくあるんで、そこにカメラで僕自身を監視している様子を出しつつ、
ダッシュボード的に時計とかCO2濃度とか気温とか、
あるいは習慣系も管理してるんで、
一番個人的な習慣としてやりたいなと思ってるのが、
1日1万歩以上歩くっていうのと、
フランス語の勉強を何かしらでもするってことなんで、
それをやってるかどうかを出したりとか、
あとは結構やっぱRaspberry Pi 4であれこれやってると負荷が高くなるんで、
CPUとかメモリーの負荷の状況を出したりとかですね、
オープンクローをIoTみたいな感じで使うみたいなことをして遊んでいました。
OpenClaw Bot同士のセッションと学び
他にもいろいろやったんですけど、
例えば他には、
友達がオープンクローを使いだしたってことだったんで、
身内だけのDiscordサーバーがあるんで、
そこでお互いのオープンクローのBotを持ち寄って、
お話をさせたら面白いんじゃないかってことでやりだしたら、
結局4人ぐらい集まって、
そこでそれぞれのBotがおしゃべりするみたいなことをし始めたっていうのがあってですね、
それぞれキャラクターも全然違うし、結構面白かったですね。
それは最初の頃はかなり面白くて、
Bot同士が勝手にいろんなことをしゃべったりとか、
あるいはなんか開発しようって言って、
Webアプリを作ってデプロイしてくれたりとか、
そういうことをして結構面白かったんですけど、
だんだん割とすぐに飽きてですね、
というのはBot同士がずっとおしゃべりしてるんですけど、
例えばこういうサービスを作りたいねってずっとおしゃべりしてるんですよ。
それでこういうアイディアどうかみたいなのをお互い言い合って、
いいねいいねとか言って、
じゃあこうだったらどうみたいな話をしてるんですけど、
結局現実世界に対してアクセスをほとんど持ってないんで、
これはあえて持たせてないっていうのはあるんですけど、
そうすると結局何もアウトプットがなくて、
延々ずっとおしゃべりしてる感じなんですよね。
なんで、全然意思決定をしないで、
ただひたすら問題点とか懸念とかアイディアを出し合ってるだけみたいな感じで、
何も生まれないっていう。
でもそういう光景って人間の中にもありますよね、たぶん。
たぶん組織論的な話なんだと思うんですけど、
これはAIエージェントでも誰かリーダーシップを取るとか、
目的があるとか、やらないといけないという切迫感があるとか、
現実にちゃんとインパクトできるような手段を持っているとか、
そういうことがないと、
何も賢い人だけ集まっても何も生まれないよねみたいな、
人間と同じようなことがあるんだなっていうのが、
わりと学びとして大きかったなというふうに思います。
セキュリティとかを無視して、
例えばパブリッククラウドのデプロイできる権限とかを全部渡したら、
面白いことするのかもしれないですけど、
さすがにちょっとそれはできないんで、
そんな結果に終わったなという感じです。
OpenClaw OSSリポジトリへの貢献
あといろいろありますね、まだまだありますね。
例えばOpenCloudの開発リポジトリ、OSSなんで、
GitHubにリポジトリがあるんですけど、
ものすごい流量なんですよね。
結構毎日リリースすることもあるし、
2,3日に1回は必ずリリースされてるんですけど、
その中で1リリースで何百コミットみたいな感じで、
プルリクエストとかもすごい数あって、
多分一番流量が多いリポジトリの一つなんじゃないかと思うんですけど、
そこに1つ、正確には2つプルリクエストを出してマージされました。
大きかったのは、OpenCloudをずっと使ってると、
だんだん動作が遅くなってきて、
話しかけても反応するまでにまず時間がかかって、
その後、LLMの処理とかでもっと時間がかかって、
どんどん遅くなっていったんで、
なんでかなと思って調べていったら、
セッションがいっぱいあるとロックファイルを取り合って、
お互い競合しちゃって、
デッドロックするわけじゃないんですけど、
かなりロックを長くとってしまうせいで、
反応が遅くなるみたいな現象が起きてたんで、
そもそもロックするんじゃなくて、
急にして一個一個処理するみたいにすれば、
ロックで遅くなるみたいなこともなくなるんじゃないのということで、
そういうプルリクエストを出したらマージしてもらいました。
これは結構僕の環境にはかなり効いていて、
それ以降は目に見えて遅くなるみたいなことはなくなったんで、
とっても良かったなと思います。
多分、とうとう使い込んでないと、
そもそもそういう問題ないと思うんですけど、
でも結構かかってる人いると思うんで、
良いことができたのかなと思ったりしますかね。
Raspberry Pi PicoとAIバンドセッション
昨日やってたのが結構面白かったんですけど、
一昨日ですね、
これはオープンクローとは関係ないんですが、
ラズベリーパイピコっていう、
ラズパイシリーズの一番低スペックな、
軽量なデバイスがあるんですが、
それを使って、
ある種の自作楽器みたいなのを作ってたんですね。
それは多分口で説明してもよくわかんないと思うんで、
動画出してるんで、
それ見てもらったらいいと思いますけど、
ライフゲームってありますよね。
ライフゲームの盤面の変化に合わせて、
音楽を生成して鳴らすみたいな、
そういう面白いデバイスみたいなのを作ったんですけど、
そのライフゲームで音を鳴らすっていうやつと、
あとこのオープンクローもいるんで、
オープンクローと、
あと僕が演奏するってことをすれば、
なんか疑似的なバンドみたいなことができるよなと思って、
バンドって言うとあれですけど、
セッションみたいな、
そういうのができるよなと思ってやってみました。
これはオープンクローが動いてるラズパイに、
MIDIキーボードをつなげて、
あとさっきのライフゲームで音を鳴らすやつをつないで、
オープンクローはラズパイで動いてるんで、
その3人がソフトウェアシンセに音をバンバン投げ込む、
あるいは僕の場合はMIDIキーボードで演奏するっていうのをやることによって、
3人が疑似的にセッションする。
疑似的にって言っても、
僕はもちろん音を聴いてるし、
ラズパイで動いてるオープンクローは、
MIDI信号がどういうのが流れてきてるっていうのを見て、
今弾いてるよなとか、たくさん弾いてるなとか、
そういうのを見て調整するみたいなことなんで、
結構セッションらしい感じですよね。
問題は僕が楽器をちゃんと弾けないんで、
あまり演奏みたいな感じはならないんですけど、
いずれにせよ3人でセッションするっていうのをやりました。
ライフゲームの方は電子音みたいなのがピコピコってなる感じで、
オープンクローにはドラマーになってもらって、
適当にドラムを叩いてもらって、
僕は鍵盤でピアノを弾いたりとか、
あとラズパイの方にソフトウェアシンセを実装したんで、
それでリバーブかけたり、
音がフヤヤヤヤってなるようなエフェクトをかけたりとか、
そういうことをやって、
これも動画に撮ってYouTubeに上げてるんで、
概要欄に書いておきますけど、
ぜひ見ていただければなと思います。
そんなことをしてですね、
子育てへのOpenClaw活用とAIエージェントの未来
オープンクロー、この2週間でもそれぐらいアップデートあって、
細かい話をすると、
例えばTTS、テキストを音声にする仕組みですが、
これを2、3個あれこれ試した中で、
1個ラズパイでも割といい感じに動くのがあったんで、
それを組み込んで、
TTSは基本的にそれを使うようにしたりとか、
あと子供がなかなか寝なかったりするので、
子供が寝ている場所にあるGoogleホームに音声を投げつけて、
オープンクローから音声を投げつけて再生する仕組みも
オープンクローからできるようにしました。
これもなんとかなんとかってしゃべってっていうと、
TTSで音声を作って投げてしゃべらせるっていう感じなんですけど、
結構子供がびっくりしていうことを聞くみたいな、
そういうことがあったりしてですね、
子育てにもこうやってオープンクローを活用しているみたいな、
そんなことがあったりします。
そういうことをやっていると、
オープンクローを使って仕事をバンバンやるみたいなもちろんできると思うんですけど、
やっぱりセキュリティの問題があるんで、
うちの会社ではオープンクローは仕事のマシンには入れちゃダメっていう風に早々にしましたので、
もちろん仕事のマシンでは使えないし、
あと仕事のデータとかも読ませないように基本的にはしています。
なのであんまり仕事用に使うっていう感じではないですね。
もちろん調べ物をするみたいなことには使えるんですけど、
仕事のデータを持ってきてゴニャゴニャするみたいな感じではないです。
その代わり、そういう個人的な生活を便利にするような、
そういう使い方っていうのをこれまでしゃべってきたようにあれこれやったりしています。
そんなことをやっていると、
結構AIエージェントが身近にある生活みたいなのがかなり実感として分かってきたなっていう感じがありますね。
ただこれはやっぱりテキストで入力してるんで、
僕の場合はDiscordを使ってるんで、
Discordにいっぱいチャンネル作ってそれぞれのコンテキストでおしゃべりしてるんですけど、
テキストでおしゃべりしたりとか、あるいは情報収集のチャンネルがいっぱいあって、
例えばカルチャーとか学術とかテックとか人文ビジネスとか、
そういう感じで分類して情報収集をしてくれたりするんですけど、
そういうところで情報を見たりとか、
あるいは週刊付けのチャンネルがあって、
フランス語の勉強したとか、
今日はまだ1万歩歩いてないから、
あと2千歩だから歩きに行けみたいなこと言われたりとか、
そういうことしてるんですけど、
テキストはテキストでいいんですけどね。
スマホでもどこでもしゃべれるというか、どこでもできるんで。
だけどやっぱり音声ですよね。
音声で常におしゃべりできるみたいな感じになると、
本当にAIエージェントっていう、
AIエージェントが身近にいるっていう感じになるかなと思います。
これは一度ディスコード経由で、
ディスコードの防止チャンネル経由でできるようにしたんですけど、
実装して。
だけどちょっとやっぱり返答が遅いんで、
リアルタイムに演じするみたいな感じじゃなかったんで、
使うのをやめたんですが、
その辺が改善されれば。
前回もこの話しました。
気がするな。
まあいいや。
OpenClawのカスタマイズとコーディングAIの進化
いろいろやりましたけど、
やっぱりそこまで踏み込めると、
もっと強いかなというふうに思いますかね。
オープンクロー世間でも非常に話題になっていて、
オープンクローを使う人も増えてるし、
オープンクロー結構大きい仕組みなんで、
もうちょっと軽いデバイス、
例えばもっとIoTデバイスみたいなもので動くとか、
あるいは単純にもっとシンプルにしたりとか、
それでいっぱい似たようなプロジェクトが派生でたくさんできたりとか、
でも作ろうと思えば、
安易的なものだったら全然今AIにお願いすればよくできちゃうんで、
そっちの方がもしかしたらカスタマイズとかにはいいかもしれないですね。
何やってるかっていうのもわかるんで、
安心できるっていうのもあるかもしれないですね。
自分の場合はオープンクローのコミュニティというか、
流量みたいなのを肌感として感じたいみたいなのもあって、
それで使ってるっていうのもあるんですけどね。
さっき言ったように本当にたくさんのプロジェクトが出て、
どんどんどんどんリリースも出てくるんで、
それに自分で思いもしなかったようなアイディアみたいなのが実装されるってのもありますし、
そういうところが面白いなと思って、
オープンクロー自体を使っています。
たださっきから話してるように、
いろいろカスタマイズというか、
自分にやりたいことを、
これはオープンクローに行って実装させてるのが多いんですけど、
そういうのやってるんで、
オープンクロー自体はLLMを使ったりとか、
ディスコードとつないだりとか、
あるいはメッセージをルーティングしていい感じに
処理をさばいてくれるみたいな、
そういうフレームワークみたいな感じで使っていて、
実際のこういうことをやらせたいみたいなのは、
いわゆるスキルっていうものを打ってやっていく感じなんで、
機能を追加するみたいなのは自分でやってる感じですね。
機能っていうのはもうちょっとユーザーに近い、
僕がやりたいことそのものみたいなことですけど、
その方がセキュリティ的にも、
人が作ったスキルとか、
怖くて入れられないんで、
いいのかなというふうに思っています。
そんな感じでオープンクローでずっと遊んでると、
この2年ぐらいAIでコーディングを日常的にするようになって、
かなり時間を割いてきてるんで、
それで夜遅くまで起きてることも多いですし、
この2年間は子供生まれてからなんで、
それはAI関係ないですけど、
この3年ぐらいは本当に寝不足じゃない日がほとんどないみたいな感じなわけですけど、
最近はますます加速してますね。
それはオープンクローだけじゃなくて、
クロードコードとかコーデックスとか、
そういうAIのコーディングエージェントの性能が、
今年に入ってぐらいからさらに一段レベルが上がって、
いろんなことができるようになってきたんで、
みんなハイになっているというか、
こんなこともできちゃうんだみたいな感じで、
すごい楽しすぎて夜更かししちゃうみたいな、
そういう人が増えてるみたいですね。
その辺はほどほどにやったほうがいいんじゃないかなとは思いますが、
自分自身が全くほどほどではないので、
好きにやったらいいんじゃないでしょうか。
僕なんかはやりたいことをやれないことのほうが、
ストレスが溜まって嫌だなっていう立ちだったりはするんで、
体壊さないぐらい気をつけてやっていきたいなと思っております。
そんな感じで、
ポッドキャストの今後と質問募集
今日もオープンクローンについての取り留めもない話をできましたが、
このPodcastは前回もお話ししましたけど、
ちょっと方針を変えて気軽に、
あんまり方向性を考えずに、
今日も全然しゃべることを考えずに、
パッとつけて話し始めて話をしてるんですけど、
どういう方向でやっていければなというふうに思ってますんで、
こんな感じですよね。
というわけで、
何かこういうことを聞いてみたいとか、
質問があるとかそういうのがあれば、
Xとか、
あるいはGoogleフォームでお便り募集とかもしてますんで、
どちらでもお便りなどをいただければいいのかなと思っております。
というわけで、
今回はこれでおしまいにしたいと思います。
さよなら。
