AIによるブラウザ操作の概要と活用例
皆さんこんにちは、矢野 哲平です。この番組は、耳で学ぶAIをコンセプトに、初心者、中級者向けにAIをわかりやすく解説する番組です。
今回のテーマは、AIエージェントにブラウザを操作してもらい、業務を効率化する方法について話していきます。
はい、ということで今日は、AIのブラウザ操作について話します。 皆さん、AIにブラウザの操作を依頼したことはありますでしょうか?
ここで言うブラウザというのは、クロームのようなブラウザを指しています。 普段私たちがインターネットのサイトを閲覧しているものです。
こうしたブラウザを人間が操作するのではなく、AIに操作をしてもらうというのが今回のテーマです。
AIがブラウザの操作できるのは知っていると。 ただ、まだ試したことがないという人は、ぜひ最後までお付き合いください。
今日話すポイントは主に3つです。 1つ目に、AIにブラウザを操作してもらう方法。
2つ目に、AIのブラウザ操作で具体的にどのようなことができるようになるのか。 その具体例。
3つ目に、AIによるブラウザ操作のポイントや注意点。 これら3点を中心に話していきます。
はい、では早速話していきましょう。 今回のテーマは、AIにブラウザを操作してもらうというものです。
AIを使うと色々なことができるようになります。 例えば、ファイルを要約したり、ファイルを作成したり。
そういったできることの中に、AIにブラウザを操作してもらってタスクをこなしてもらう。 実はこういったこともできます。
具体的には、AIが人間のようにブラウザを開いて、 サイトを閲覧したり、スクロールしたり、クリックしたりすることができます。
ほぼ人間と同じような操作をAIもできるわけです。 こうしたAIがブラウザを操作できるようになると、結構便利な場面があります。
一番汎用的に使える活用事例は調べもの。 調査のタスクで活躍します。
例えば、AIに出張の日程を渡して、この日程、あとは出張先の訪問場所。
こういった背景情報を踏まえて、予算いくらで宿泊先のホテルを探してくださいとか。
もともとAIはインターネット上の情報を取得することができます。
ですが、ブラウザを操作できるようになると、より詳細な情報を取得することができます。
あと他の事例で言うと、フォームの内容を埋めて送信する、そういったこともできます。
このAIがブラウザを操作するという発想は、最近のものではなくて、割と以前から実装されています。
私の記憶だと、2025年には、すでにこういったAIにブラウザを操作してもらうというものは登場していました。
ただ、この機能が出てきた時、あまり使い物にはならなかったというのが正直な感想でした。
シンプルに、AIのモデルの性能が当時は低くて、こちらが想定した動きをなかなかしてくれないというケースはありました。
なので、このブラウザ操作の機能が出てきてから、積極的にこの機能は利用していなかったんですけど、
最近はちょっと事情が変わりまして、やっぱりAIモデルの進化に伴って、AIがブラウザを操作する精度が格段に上がっています。
シンプルに、以前よりもできることが増えています。
AI、いろいろな仕事の場面で使っている人多いと思います。
で、そのいろいろな選択肢の中に、AIにブラウザを操作してもらう。
このような選択肢を入れてみるのもおすすめですよ、というのが今回のエピソードの趣旨です。
ChatGPT・Claudeでブラウザを操作する方法
じゃあ、AIにブラウザを操作してもらう。
具体的にどうやるのかというと、これ実は非常に簡単です。
ChatGPTやCloudのようなAIツールが、すでにそういった機能を提供しています。
もちろん、会社によって細かい部分は変わってきます。
ですが、基本的には、AI会社はブラウザを操作する機能を搭載しています。
それこそ、前回のエピソードで話したグロックボット。
これもAIにブラウザを操作してもらうことができます。
そうですね、ChatGPTを例にとってみましょうか。
ChatGPTには、ChatGPT Workという機能というか、モードのようなものがあります。
これは簡単に言うと、ChatGPTでAIをエージェントのように動かせるような機能です。
このWorkのモードに切り替えて、ブラウザを操作してほしいと明示的に伝えると、
AIがブラウザを操作してくれます。
例えば、サイトのURLを渡して、このサイトでこういったタスクを行ってほしいと指示をすると、
AIエージェントが動作して、ブラウザ上でタスクをこなしてくれます。
AIがどのような作業をしているのかというのは、画面の右側にリアルタイムで表示されます。
そしてAIが操作をしていくわけですけど、そのブラウザの操作を人間が変わることもできます。
クロードの場合は、Chromeの拡張機能、こちらからブラウザの制御ができます。
クロードのチャットやデスクトップアプリ、あとはクロードコードのようなツールからブラウザの制御を行うことができます。
チャットGPTでもクロードでもどちらでも精度高くブラウザの操作はできるんですけど、
どちらかというとクロードの方が作業のスピードは速いかなと感じています。
このクロードのChromeの拡張機能を使うと、今私がパソコンで操作をしているブラウザ、これをAIに渡すことができます。
つまりこれどういうことかというと、特定のサイトにログインをした状態でAIにブラウザを渡すことができます。
つまりログイン済みのサイトをAIが操作できるようになります。
App Storeのレポート取得と業務効率化
例えば私の場合だとApp Storeの管理画面、これをAIに操作してもらうようにしています。
私あのiOSのアプリ公開しているんですけど、その管理画面にはどれだけユーザーが利用したかとか、
どこからユーザーが流入してきたか、こういった情報があります。
こういった情報はプログラムでも取得できるんですけど、細かい数字を取得したい場合、
やっぱりその画面からレポートをダウンロードする必要があるわけです。
これ結構地味に面倒な作業だと感じていました。
そこでAIにログイン済みのブラウザを渡して、こことここのデータのレポートをダウンロードしてくださいと、
このようなタスクを行わせています。
AIにこうした仕事を振ると何が嬉しいのかというと、レポートのダウンロードから分析、
次の打ち手の提案、こういったものを一気に行ってくれます。
シンプルに作業効率が上がるので便利だなと思っています。
今回は一例として、アプリの分析情報をブラウザから操作してAIに取得してもらう、
そういった話をしましたけど、結構こういったシチュエーションあると思います。
人間の手作業じゃないと取得できないデータがあると、
直接パソコンの画面をポチポチしながら手動で取得していたと、
そういったデータ集めでAIに直接ブラウザを操作してもらって行ってもらうと、
結構こういった使い方、仕事がはかどるのでおすすめです。
ここまで聞くとこう思う人もいると思います。
AIにブラウザを操作してもらうと、それはセキュリティ的にどうなんですかと、
こういった疑問は至極全うで、
AIにブラウザを操作してもらう、これは危険性が全くゼロとは言い切れません。
なので今回私がAIにブラウザを操作してもらうという一つのアプローチを提案していますけど、
なかなか会社で許可されないケースはあると思います。
私も無条件にAIにブラウザを操作してもらうようなことはしていなくて、
万が一があっても問題が起きにくいタスク、そういったもので利用しています。
例えば証券会社のサイトを渡してAIに操作してもらう、
やっぱりこういったことは現時点では怖くてできないですね。
ただAIがミスをしても問題ないだろうと、
そういったタスクには積極的に振るようにしています。
Gemini Notebookや商標データベースへの活用
例えばジェミニノートブックあるじゃないですか、Googleのツール。
ジェミニノートブックでAIポッドキャストを聞いて移動中に聞くのが日課なんですけど、
結構ノートブックを作成してAIポッドキャストを作るの手間なんですよね。
なのでログイン済みのジェミニノートブックの画面と、
作成してほしいノートブックの一覧を渡して、
AIにノートブックを作ってもらう、こういったことに使っています。
ちなみにクロードでの話になるんですけど、
ノートブックを削除したいという指示、これは人間が依頼をしても受け付けないようになっています。
ちなみにちょっと話それるんですけど、
ジェミニノートブックのAPI公開されましたよね。
ちょっとまだ私試せてないんですけど、先で機会があったら試してみようと思います。
プログラムからジェミニノートブックを制御できるようになっているようです。
話をブラウザ操作に戻すと、
それこそちょうどこのポッドキャストを収録する前なんですけど、こんな使い方もしていました。
私ちょうど今新しいアプリ作っているんですけど、
そのアプリの名前が他のアプリと競合していないかとか、
そういった調査に使いました。
商標をチェックできるデータベースみたいのが各国あるんですけど、
そこをエージェントに操作してもらって、
私が作ろうとしているアプリの名前と重複するものがないかどうかを調べてもらう、
こういったことにも使いました。
こんな感じで国や団体が公開しているデータベースにエージェントからアクセスをして、
特定の情報を調べたいときにも活躍します。
このような突発的に発生したタスクをこなしてくれるパターンもあれば、
毎日発生しているようなタスクをこなしてほしい場合もあると思います。
例えば、先ほどのデータベースから情報を調査してもらう。
これは突発的なタスクでした。
ですが、アプリのアクセスのデータ、これを毎週取得したい。
これは定期的に発生するタスクです。
AIも人間も同じことが言えると思うんですけど、
操作マニュアルで精度と利用枠を改善する
初めて操作するサイト、使い方よくわからないですよね。
AIの場合は、初めて操作するサイトを色々と試行錯誤しながら操作していきます。
レポートを切り替えるボタンはここかなとか、
レポートをダウンロードする場所はここかなと。
人間の場合は、一度操作したサイトをある程度記憶していますよね。
ここから操作したらレポートをダウンロードできると。
ただ、AIの場合は2回目に操作する場合でも、
それが新規のセッションであれば、初見と同じような挙動になります。
つまり、1回目操作した内容をAIは覚えていません。
なので、毎回同じようなタスクを依頼しても、
工夫をしなければ、AIは以前行ったタスクでも初めて操作するようなことになってしまいます。
こういった場合、時間もかかるし、利用枠も増えてしまいます。
ではどうすればいいのかというと、
初めてAIにそのサイトを操作してもらうときに、
同時に操作マニュアルも作るように依頼すればOKです。
あとは、2回目操作するときに、その操作マニュアルを添えて、
この内容に沿って作業を進めてくださいと指示をすれば、
1回目の時に比べて操作も正確になって、利用枠も抑えることができます。
例えば、私はこのようにしています。
初めて操作を依頼するサイト、こういった時は上位のモデルを使います。
例えば、クロードオーパスとか、チャットGPTソルとか、
この時に同時に操作マニュアルを作ってもらいます。
そして2回目以降、同じ内容を操作してもらうときは、
クロードハイクやチャットGPTのルナのような計量モデルで操作をします。
1回目の場合、計量モデルを使うと、高い確率でタスクが完了しません。
ですが、マニュアルを添えてあげることで、計量モデルでもブラウザーを問題なく操作できます。
1点だけ補足すると、タスクの複雑さによっては、計量モデルにマニュアルを添えても失敗することはあります。
その時はエフォート、つまり思考の深さを上げたり、もう一つ上のモデル、
例えばクロードソネットとか、チャットGPTテラのようにモデルを上げたりしています。
いずれにしろ、複雑な操作でも、上位のモデルを使わなくても済むようになります。
なので、利用枠を節約することができます。この方法もぜひ試してみてください。
失敗を前提にした安全な運用と今後の拡張
ちょっと一旦まとめます。
AIエージェントにブラウザーを操作してもらう場合、失敗する前提でタスクを組むことをお勧めします。
特に、ログイン済みのサイトを操作してもらう場合、万が一があっても大丈夫な環境で利用することをお勧めします。
このような制限をかけると、お願いできることは少なくなってくるように感じるんですけど、
エージェントにお願いできるブラウザーの操作、意外と転がっています。
そういったものを積み重ねていくと、今のAA活用にプラスして業務効率化を図ることができます。
あともう一つ、毎回の作業では手順書を作らせることをお勧めします。
人間がこの手順書を作る必要はありません。
AIエージェントに作業と同時に手順書を作らせて、2回目以降の作業はその手順書を参照させると、
こうすることでブラウザ操作の精度が上がります。
こんな感じでAI活用の幅、年々広がっています。
それこそブラウザ操作、こういったものが出た頃は全然機能はしていなかったんですけど、
やっぱりAIモデルの進化とともにできることもどんどん広がっているなと感じています。
それこそ直近のニュースだと、オープンAIとクロードから面白いトピックが公開されました。
オープンAIはAIから電話を発信できる機能を公開しました。
具体的にはGPT LiveというAIと会話できる機能、これを提供できるAPIがあるんですけど、
これが電話の発信もできるようになったと。
あとクロードではAIが銀行の口座に接続をして質問ができるパーソナルファイナンスという機能をアメリカで開始しました。
AIに家計の相談をするということが現実的になってきたかなと。
チャットGPTも口座の連携機能というのは2026年の5月に実装しています。
これは使えるようになっても、ちょっとまだ口座連携はしたくないなとは思うんですけど、
将来的にリスクや懸念が払拭されて、AIに家計を見てもらう。
こういったことが当たり前になる時代が来るかもしれないですね。
矢野さん、今月ちょっとお金使いすぎですよとか、今月はお小遣い減らしましょうみたいな。
AIが家計をサポートしてくれる。
ちょっと話が逸れてしまったんですけど、今回はAIエージェントにブラウザ操作をしてもらうという回でした。
こういった使い方も面白いので、興味のある方はぜひ試してみてください。
それでは今日のポイントをまとめます。
1つ目に、AIにブラウザを操作してもらうことで、細かい作業も依頼することができます。
2つ目、定期的に何度も発生する操作。
こういった場合は、AI自身に手順書を作成してもらうのもおすすめです。
最後3点目、ブラウザ操作は便利な反面、リスクも付きまといます。
AIが操作に失敗することを想定してワークフローを設計することをおすすめします。
はい、今日はこの辺ということで、本日もお付き合いいただきありがとうございました。
番組ではこのように、耳で学べるAIを毎週発信しています。
通勤中や家事の合間にAI情報をキャッチアップできます。
毎週月曜朝に更新しています。ぜひフォローをお願いします。
そして私が開発した3倍速くメモできる音声入力アプリ、Nokiのリンクも概要欄に添付しています。
興味のある方はこちらもぜひ。
お相手は耳で学ぶAIの矢野てっぺいでした。また次の配信でお会いしましょう。
