プロンプト管理の重要性
みなさんこんにちは、ロボシンクの矢野哲平です。この番組は、耳で学ぶAIをコンセプトに、初心者・中級者向けにAIを分かりやすく解説する番組です。
今回のテーマは、プロンプト管理どうしてる、効率よくプロンプトを管理する方法について考える、について話していきます。
はい、ということで今日はプロンプト管理について話していきます。 突然ですが皆さん、プロンプトはどのように管理していますでしょうか。
チャットGPTやジェミニなど、生成AIを日常的に触っている人っていうのは多いと思います。
毎日触っていると、自分が使うプロンプトっていうのはある程度絞られてくると思います。 例えば、そうですね、メールの下書きを作成するプロンプトにしましょうか。
日常的にメールの下書きをAIで作成していると。 取引先に送るようなメールですね。
良いメールの下書きを作成してくれるプロンプトを作ったと。 でもですね、こういった要求も出てくると思います。
もっと良いプロンプトの書き方はないのだろうかと。 今はチャットGPTを使っているけど、これをクロードやジェミニなど他のモデルに変えると、もっと良い結果が出力できるのではないかと。
こうした時にですね、プロンプト管理ツールを使うことで、より効率的にプロンプトの管理や実験をすることができます。
今日はこういったプロンプトを管理する、プロンプトの実験をするという視点からですね、話していきたいと思います。
今日話すポイントは主に3つです。 1つ目にプロンプトを管理することについて。
2つ目にプロンプトの管理をするツール、これを使うメリットについて。 そして3つ目におすすめのプロンプト管理ツールについて話していきます。
オープンAIプレイグラウンドの活用
プロンプトを管理するツールっていうのは実は結構あるんですね。 その中でもエンジニアではない人、非エンジニア向けのツールで話していきたいと思います。
では早速プロンプト管理について話していきます。 プロンプトをですね、管理する方法っていうのは人それぞれだと思います。
例えばですね、メモ帳とかあとはメモアプリのNotionとかでですね、 プロンプト管理をしている人も多いと思います。
これがエンジニアの人になると、例えばGitと呼ばれるもので、 プロンプトのバージョン管理を行っている人もいるかもしれません。
ただですね、これらのアプリやサービスっていうのはあくまでメモやですね、 あとはコードを管理するアプリになります。
プロンプトを管理するために設計されているサービスではないんですね。 プロンプト管理でやりたいことを挙げると主に3つになると思います。
まずはプロンプトの保存ですね。よく使うプロンプトを効率よく管理したいと。 さらに言うとバージョン管理もしたいと。
で、2点目にプロンプトの比較ですね。 例えば、文章を作成するプロンプトを作ったと。
そうですね、取引先に送るメールの下書きを作る、作ってくれるプロンプトにしましょうか。 で、これをいろいろ工夫をして作ったと。
ただですね、昨日作ったプロンプトと新しく今日作ったプロンプト、 どちらが精度が高いのかっていうことを比較してみたいと。
結構プロンプトをですね、こだわって試行錯誤していくと、こういった要求も出てくると思います。 そして最後に3点目、モデルの比較ですね。
生成AIっていうのはモデルを変更することで出力が変わってきます。 例えば、メールの下書きを作成してくれるプロンプトをGPT-40にお願いしたと。
チャットGPTのですね、GPT-40にお願いしていると。 で、これをクロード3.5ソネットとか、あとはGoogleのジェミニに変えると、もっと結果が良くなるのではないかと。
もしくはそうではないかと。 前回のエピソードでも話しましたけど、最近OpenAIからOpenAI-01プレビューという新しいモデルが発表されました。
こんな感じでですね、結構AIっていうのは定期的に新しいモデルがアップデートされます。 今まで使っていたモデルと、新しく出たモデルで、同じプロンプトでどれだけ精度が変わるんだろうかと、
これを比較してみたいと、そういった要求はですね、結構あると思います。 で、これをですね、ツールなしで比較、検証していくと、結構手間がかかってくるんですよね。
で、こうした手間を管理ツールを使うことで、効率よく行うことができるというわけですね。 もちろんメモアプリでもできないことはないんですけども、やっぱりそのプロンプトの管理とか、実験をするために作られたサービスを使った方が、より効率的に行える場合があります。
ただですね、プロンプト管理ツールって結構いろいろあるんですけど、 開発者向けに作られているのがほとんどなんですね。
なので少し手を出しにくいというイメージもあります。 結構ですね、最初の環境構築とか面倒なんですよね。
あとは結構ツールがいろいろありすぎて、どれを選べばいいのかわからないという面もあります。 で、今回のエピソードでは、非エンジニアの方でも使いやすくて、
あとは環境構築など手間がかからないものっていうのを紹介していきたいと思います。 はい、では早速一つ目ですね。
一番シンプルにプロンプトの管理とか、あとは検証するなら、オープンAIのプレイグラウンドがおすすめです。
これはですね、プロンプト管理ツールではなくて、プロンプトの実験環境のようなものですね。 で、あの名前からわかるように、オープンAI、ChatGPTの開発会社が提供しているツールとなります。
で、これあまり知られてないんですけど、プロンプトを保存して呼び出すことができる機能もあります。 なのでプロンプトを管理するツールとしても使うことができるわけですね。
具体的にですね、このオープンAIプレイグラウンドでできることを挙げると、 プロンプトの保存、あとは比較検証ですね。
ちょっと詳しく話していきますね。まずプロンプトの保存から話していきます。 オープンAIのプレイグラウンドでは、入力したプロンプトに名前をつけていつでも呼び出すことができます。
例えばですね、文章構成のプロンプトとか、資料作成のプロンプト、アイデア生成のプロンプトという具合にですね、 プロンプトを登録してそれに名前をつけることができます。
それをいつでもパッとワンクリックで呼び出すことができます。 他の機能としてはですね、モデルの比較もできます。
例えばですね、GPT-40とGPT-40 miniというモデルがあります。 これで比較をしてどれだけ回答の結果が違うかということを一つの画面で行うことができます。
これって結構新しいモデルが出た時とかに便利なんですね。 新しいモデルは前のモデルと比べてどれだけ精度が違うのかと、同じプロンプトでモデルだけを変えて比較することができます。
あとはですね、プロンプトの比較ということもできます。 例えばですね、アイデアを生成するプロンプトを作ったとします。
例えば、ユーザーの課題を解決するビジネスアイデアを考えてくださいと、こういったプロンプトを作ったとします。
この時にですね、シンプルにユーザーの課題を解決するビジネスアイデアを考えてくださいとするのとですね、 その前に例えばAIは○○の分野に精通する企業家として振る舞ってください
というようにですね、役割を設定するプロンプトをつけるとします。 この役割を設定のあるなしでどれだけ生成結果に違いが出るんだろうと、
そういったことをですね、一つの画面で比較できます。 これってもちろんですね、ChatGPTでも画面を2つ開けばできます。
ブラウザーのタブを新しく開いて画面を2つ作ると、そういったことでもできることはできます。 ただですね、これちょっと面倒ですよね。
オープンAIのプレイグラウンドを使えば、一つの画面でワンクリックでプロンプトやですね、 モデルの比較をできるので便利です。
これ、使用方法というのも非常に簡単なんですね。 サイトにアクセスをして支払い情報を設定するだけです。
これですね、確か初回登録の場合は5ドル分のクレジットが付与されるんでしたかね。 で、この5ドル分のクレジットで結構な量のですね
プロンプトを検証できるので、ものすごくお金がかかるというわけではないんですね。 だいたいですね、1実行あたり、もうほんと数円ぐらいのレベルですね。
オープンAIのプレイグラウンド、公式が出しているツールということもあって、非常にシンプルで使いやすいのでおすすめです。
ただですね、少し物足りない点もあります。 それはですね、他のAIサービスのモデルが使えない点ですね。
オープンAIのサービスなので使えるモデルっていうのはChatGPTのみとなります。 人によってはですね、クロードのモデルも検証に使ってみたいと
Geminiのモデルも検証で使ってみたいというケースもあると思います。 こうしたケースではですね、プロンプトハブというツールがおすすめです。
プロンプトハブの特徴
ここからちょっと本格的なプロンプト管理ツールになってきます。 プロンプトハブではオープンAIと、あとはクロード、Googleですね、Geminiですね。
このAPIというのが登録できるので、複数のモデルっていうのを比較できます。 あとは個人的に気に入っているのがですね、プロンプトのバージョン管理ができる点ですね。
このバージョン管理っていうのは簡単に言うと、プロンプトの履歴っていうのを管理できるわけですね。 例えば新しくプロンプト書き直したけど、前のプロンプトの方が良かったなという場合があるとします。
こういった時でもバージョン管理ができればですね、 前のバージョンに戻すことができるというわけですね。
プロンプトの変更履歴をコントロールできるので便利です。 前のプロンプトと新しく書いたプロンプト、どちらが回答精度がいいのかなという、こういったものもですね
プロンプトハブでは簡単に比較ができます。 あとはですね、プロンプトを変更した場合にその変更箇所っていうのを色分けしてくれるんですね。
なのでどこを変更したのかっていうのをすぐ確認ができるという、これもですね非常に便利です。
このプロンプトハブっていうのは無料で利用できます。 一応ですね、無料プランの場合いくつか制限があるのでちょっとお伝えしますね。
まず月のリクエスト、1ヶ月のリクエストが50回まで。 この50回っていう数字はですね、人によっては少ないと感じる人もいるかもしれません。
確かに管理するプロンプトっていうのがものすごく増えれば物足りなくなるかもしれません。 でもですね、まずはプロンプト管理ツール、これがどういったものなのか試してみたいという人は十分な数字だと思います。
あとは登録したプロンプトがプライベートにできないことですかね。 社内で開発しているプロンプトとか、そういった事情がなければですね、こちらも問題ないと思います。
ちなみに有料プランになると月額が一気に200ドルになるので、まあ結構高いですね。 この有料プランはですね、会社でAIを導入している企業なんかが契約するプランですね。
プロンプト管理ツールの紹介
無料プランでも十分利用できます。 あとはプロンプトハブ以外の選択肢としてはアジェンダでしょうか。
こちらもですね、おすすめの管理ツールになります。 ただですね、無料枠の場合だと登録できるプロンプトが3つまでなんですね。
ただできることっていうのはプロンプトハブより結構本格的です。 基本的な機能っていうのはプロンプトハブと同じなんですけども、自動評価という機能が
アジェンダにはあります。 これはですね、プロンプトを自動で実行して評価していくものになります。
例えばビジネスメールの下書きを作成してくれるプロンプトを作ったとします。 このプロンプトがですね、もともとこちらが設定している基準通りに動いているのかどうかっていうのを
自動で評価してくれます。 例えばメールの本文とか件名にこちらが事前に指定したキーワードが入っているかとかですね
あとはメールの末尾に会社の情報が入っているかどうかとかですね。 プロンプトを管理しながらより自動評価をしたりとか
プロンプトの検証したりするときにアジェンダがおすすめです。 あとはデータセットの登録もできるので、例えば文章構成のプロンプトを作っているとします。
この時にですね、1000文字とか2000文字でわざと間違えた文章というのを用意をしておきます。
新しくプロンプトを作り変えたりとか、新しいモデルが出た時にすぐそのデータセットを呼び出してですね テストすることができます。
ここまで紹介したツールっていうのは環境構築は不要ですぐに利用できます。 パソコンに何かこうアプリをインストールして環境設定をしてとかそういう手間っていうのは
不要です。APIキーを入力するだけで利用できます。 とはいえですね、もともとLLMアプリとかの開発者向けに作られたツールとなるので
ちょっとですね、自分には持て余すかなという人がいるかもしれません。 そういった人はですね、Chromeの拡張機能でプロンプトを管理するという方法もあります。
Chromeの拡張機能っていうのは、あのGoogleのブラウザーがありますよね。 パソコンとかでChromeブラウザーがあると思います。
あのChromeのブラウザーに対して何かこう追加で機能をつけれるものですね。 このChromeの拡張機能の中にプロンプトをですね、管理できるツールというのもあります。
Chrome拡張はいろいろあるんですけど、スーパーパワーというGoogle拡張機能が人気ですね。 でこれどういった機能かっていうと、えっとですね
チャットGPTの画面がありますよね。 あれをGoogle拡張機能を使って画面をカスタマイズできるような拡張機能ですね。
でこのスーパーパワーでできることを簡単に言うと、まずチャットの検索ですね。 あの画面の左側にチャットGPTってこうチャットが溜まっていきますよね。
あの会話をしていくたびに。であれって検索機能がないんですよね。 チャットGPTのアプリではあるんですけど、ブラウザー版だと会話の検索機能っていうのはありません。
であれ何なんですかね。このスーパーパワーを使うとブラウザー版で過去のチャット履歴っていうのを検索したり、お気に入り登録ができます。
であとはチャットの履歴っていうのをフォルダーに分けることもできます。 例えばメールのフォルダーとかアイデアのフォルダーとかこういった感じで会話履歴を
フォルダー分けすることができます。 あとはですねプロンプトをテンプレートとして登録しておいて後で呼び出すこともできます。
これまで紹介してきたツールですね、オープンAIのプレイグラウンドとか あとはプロンプトハブとかアジェンタ
これはですねプロンプトの管理実験に使えるようなツールでした。 スーパーパワーはですねこうしたプロンプトの実験比較っていうよりも作業効率を上げるための
ツールという感じでしょうか。 デメリットを上げるとそうですねGoogle拡張機能で画面をカスタマイズするので
ちょっとですねチャット画面がごちゃっとした感じになるんですね あの普段使っているチャットGPTの画面がちょっとごちゃっとした感じになります
であとはチャットGPT側で何かアップデートがあった時にあのまあ時々ですね エラーを吐き出すこともあります
とはいえですね結構人気のChrome拡張機能なので気になる方はぜひチェックをしてみてください ここで紹介したツールは概要欄にリンクを貼っておきます
こんな感じでプロンプト管理をするツールっていうのは様々です 開発者向けの管理ツールもいろいろあるんですけど非エンジニアの方がですね
プロンプトを管理するデファクトスタンダードみたいなツールっていうのは現状ないのかなと思います 例えば生成AIならこうチャットGPTとか
クロードとかジェミニとか結構スタンダードなツールっていうのが知られていますよね 画像生成AIであればミッドジャーニーとかステイブルディフュージョンみたいなツールが
ある程度ですねスタンダードなツールになっていると思います でもですねプロンプト管理ツールに関しては現状ですね
非エンジニア向けのツールでスタンダードはこれっていうのはないんですよね で今日はその中でも使いやすさに重点を置いていくつか紹介しました
こんなのあるよという方いらっしゃいましたらぜひコメントをください 他にもですねプロンプト風とかプロンプトレイヤーとか
いろいろツールはあります ただですねこれはちょっとですね導入のハードルが高いかなと非エンジニア向けではないんですね
これからもAI関連のツールっていうのはたくさん出てくると思うので また良いプロンプト管理ツールがあれば紹介したいと思います
今日のポイントをまとめます プロンプト管理メモアプリでも使いやすいですがプロンプト管理ツールという選択肢も
おすすめです プロンプト管理ツールではプロンプトやモデルの比較などプロンプトの実験を行います
Gemini縛りの作業
で最後3点目ですねシンプルにプロンプトを管理するなら オープンAIのプレイグラウンドがおすすめです
もう少しですね深く管理したい場合っていうのはプロンプトハブやアジェンダがおすすめです プロンプトのですね実験なんかもこちらのツールはできます
あとはシンプルに作業効率を高めたい場合はスーパーパワーという google の拡張機能もおすすめです
はい今日はこの辺ということで本日も聞いていただきありがとうございました ちょっと話プロンプト管理ツールから変わるんですけど今ですね
仕事でGeminiの教材を作っていって少し前からGemini縛りをやっています 普段ですね
ChatGPTを使っていたんですけどあえてChatGPTは封印して今はですね Gemini縛り Geminiオンリーで作業をしています
前回のエピソードでオープンAIのO1を紹介したのでその時は使ったんですけど それ以外の時はですね
Geminiだけで作業をしています 自分が思っている以上にですね全然問題なく仕事ができますね
先でこのポッドキャストでもGeminiについて深掘った内容も話したいと思います 番組ではこのように耳で学べるAIを毎週発信しています
通勤中や家事の合間にぜひ水曜朝に更新していますのでぜひフォローをお願いします そしてXとノートでもAIの情報を発信していますのでこちらもぜひ
概要欄にリンクを貼っておきます お相手はロボシンクの矢野てっぺいでした
また次の配信でお会いしましょう