00:00
はい、みなさんこんにちは。 長野県を中心にAI研修講師などをしているペスハムです。
今日は、昨日ワークショップで感じた、そもそもブラウザ操作自動化って何ですかという話を、
できるだけ難しい言葉を使わずに、 一から話してみたいかと思います。
そもそもこのブラウザ操作自動化っていう言葉が、ちょっと難しいんですよね。
ブラウザって何だっけ?自動化ってどういうこと? プログラミングですか?エンジニアですか?みたいな感じに、どうしてもなっちゃう人が多いんだと思うんですよね。
ただ、ざっくり言うと、これはいつもあなたがパソコンでやっているその操作の手順をロボットに覚えてもらって、自動で動かしてもらうっていうことなんですよね。
本当にこれです。
例えば、毎朝コンビニに行くとするじゃないですか。
コンビニへの道順で、家を出て右に曲がって信号を渡って、ちょっと坂を登ってコンビニがありますみたいな。
そういうのってどうやって行けばいいんですか?って聞かれたときに説明しますよね。
ここを右に曲がって、この信号を渡って、このスーパーの看板が見えたら左に入って、コンビニが見えたらドアから入るみたいな感じですね。
ブラウザ操作の自動化もこういう感じで、あなたが普段やっているパソコン作業をこのボタンをクリックしてとか、ここにこの文字を入れるとか、ここをコピーしてこっちのページにペーストするとかね。
これで次の画面が出たら次へを押すとか、画像をアップロードするためにフォルダーのここを参照してダブルクリックするとか、そういう手順、道順をロボットに覚えてもらうみたいなイメージですね。
このロボットって言っても別に人型ロボットとかじゃなくて、パソコンの中の作業係、AIですね。
これをAIが手順化すると、もうその通りに毎日同じように動くっていう形になるんですよね。
03:00
例えば、あなたが毎日同じサイトにログインして、同じ場所にこの数字を入れて、ボタンを押して、これをコピーペーストして、完了画面を押すみたいな。
そういう作業が1回3分やってたとすると、毎日やってたら1ヶ月で90分ですよね。
10ヶ月で900分だから12ヶ月で1080分。
60で割ると十何時間ですね。
20時間弱ぐらい。
しかも普段当たり前のようにやっているから別に何とも思わないかもしれないけど、決して楽しい作業じゃないですよね。
なんかめちゃめちゃ鳴ってるけど、気にしないでください。
だからこういう作業をAIに覚えてもらって自動化するのがいいんじゃないかっていう風に言ってるんですよね。
じゃあこれどうやって伝えればいいかっていうことなんですけど、
この画面に行ったらこのボタンを押すとかですね。
この画面が切り替わったらこれを入力するとかっていうことを一個一個人間の文字からAIが読める文字に変換して、覚えてもらうっていうことなんだけれども、
でもこのAIが読み込む文字っていうのがポイントで、
人間は目で見てこの青いボタンねとか送信って書いてあるこのボタンねとかっていう風に目で見てわかるんだけど、
AIはプログラムで見ているからその通りには見えないんですよね。
だからここを済んだよっていうこの位置とか場所っていうものをAIがわかる言葉に、
AI自身が変換をしてそれで覚えてもらうっていう必要があるんですよね。
なので、あと順番も大事ですよね。
皆さんがやっていることって当然この次へっていうのが表示されたから次へって押してるんだけど、
それも当たり前になってるじゃないですか。
でもAIはこの次へっていうものが出たところで、この次へっていうものの意味は特にわかんないんですよね。
ただのツとギとエが並んでるだけの文字にしか見えないから。
だからこの次へっていうのが出たらこの次へっていうボタンを押すっていう風にきちんと教えてあげないといけないと。
06:08
次へが出る前に次へを押すっていう風になっているともうそこでエラーになっちゃうんですよね。
だからもうこの1番目の作業はこのボタンをクリックする。
2番目の作業は次へをクリックする。
3番目の作業はこの文字を入力するとかっていう風にきちんと覚えてもらわなきゃいけないっていうことです。
最後4つ目が結構これ大事なんですけど、終わったかどうかを確認するっていうのが大事なんですよ。
つまり例えばネットショップで買い物をしたときに買ったつもりになってたけど実は買えてなかったみたいなことってありません?
クレジットカードがうまく決済完了してなかったとか有効期限切れだったとか実はわからないところでエラーになっていたみたいな。
これが確認しないままにやってしまうと当然品物が届かないので不便ですよね。
これと同じようなことが結構このAIの作業でも起きるんですよね。
ただボタンを押しただけのように見えるんだけれども、それが実は完了してなくてプログラム上次に進んでないみたいなことが結構あったりするんですよ。
なのでちゃんと完了したかを見るというか確認させるっていうこと。
ここまでやって初めてブラウザ操作を自動化するっていうのが完了するんですよね。
例えるなら新人さんにいつも僕らがやっている事務作業を横で見せながら教えるというのに近いです。
ただ新人さんはメモして覚えるんだけれども、じゃあ昨日教えた通りにやっておいてって言っても、でもうまくいかないこともありますよね。
ここを忘れてましたとか、ここをやったつもりでしたみたいな。
そういうふうに結構AIも間違えるんですよね。
うまくAIの言葉に変換ができていなかったりだとか、思っていたボタンと違う場所にボタンの位置があったとか。
そういうふうに全部できるっていうわけではないので、じゃあそこで止まっちゃったら、じゃあそこ違うよと。
こういうふうにエラーが出たのであれば、そのエラーってどういうことなのかこれも解析して。
その違いをすり合わせていきましょうみたいなふうにして直していくということなんですよね。
なのでブラウザ操作自動化っていうのは魔法のように全部思ったことを勝手にやってくれるものっていうわけじゃなくて、
09:04
自分のいつもの作業を丁寧に道案内して覚えてもらうものっていう感じです。
ただこれが1回できちゃうと、あとはロボットにやってもらうので、人間は別の仕事をしたりとか人と話したりとか休憩したりとかね、
いろんなことをその時間を使えるようになるんですよね。
なので毎日30分あなたの作業を楽にするっていう、ここにつながっていくよねという話でした。
ということでブラウザ操作自動化の教科書っていうのを6月6日に出すので、ぜひそちらを見ていただけたら嬉しいです。
今日は19時からクリプトニンジャキッチンカーのリアさんと対談させていただきます。
リアさんとはリアルで今日お会いするんですけれども、その最初のちょっと時間でコラボライブをやらせていただけたらなというふうに思っております。
クラファーもまだ開催中なので、ぜひぜひ聞いてみていただけたらと思います。
ということで今日も聞いていただきましてありがとうございました。
あなたのレールを外そう手伝いができたらと思います。いってらっしゃい。