プロンプトキャッシュとは
こんにちは。現場のAI業務改善ラジオの大地です。 今回は、プロンプトキャッシュでAIのトークンを節約というテーマでお話しします。
キャッシュというのは、コンピューターにおける短期記憶のようなものです。 キャッシュに入っている情報は、低コストで素早く取り出すことができます。
AIにも、この短期記憶に相当するキャッシュが存在します。 これがプロンプトキャッシュです。
AIと会話をするとき、一度やりとりを増やす度に、AIはそれまでの情報を全部読み込んだ上で次の回答を出しています。
この今までの会話の読み込みをキャッシュから行うことができると、入力トークンは通常の10分の1になります。
具体例を挙げると、キャッシュを使わないで今までの会話の全読み込みで100トークン使っていたとしたら、キャッシュを使えば10トークンで済むということです。
このプロンプトキャッシュという仕組みは、クロードコードでもコードXでも共通です。
プロンプトキャッシュ活用のコツ
このトークンの節約に役立つプロンプトキャッシュを活用するには2つのポイントがあります。
1つ目は、AIの回答から次の指示まで1時間以上空けないこと。
2つ目は、1つの会話の中でモデル・思考量を変えないことです。
まずは1つ目の、AIの回答から次の指示までに1時間以上空けないことについては、1時間以上空くと、クロードコードでもコードXでもプロンプトキャッシュが消えてしまいます。
そうすると、キャッシュを使った場合に比べて、そこまでの会話の読み込みで入力トークンを10倍使うことになります。
そして、会話の途中でモデルや思考量を変えることもキャッシュの削除につながるので注意しましょう。
まとめと無料相談
今回の内容をまとめます。
AIとの会話では、一度やりとりをするたびに、AIはそれまでの情報をすべて読み込んだ上で回答を考えています。
この時に使われるのがプロンプトキャッシュです。
プロンプトキャッシュを使えば、入力トークンは通常の10分の1で済みます。
しかし、AIの回答から次の指示までに1時間以上空けたり、会話の途中で思考量やモデルを切り替えたりするとキャッシュが消えて、キャッシュを使った場合と比べて10倍の入力トークンを消費することになります。
なので、AIのトークンを節約したい方は、AIの回答から次の指示まで1時間以上空けない、会話の途中でモデル・思考量を変えない、この2つを意識してください。
これだけ守れば、AIはプロンプトキャッシュを有効活用できて、キャッシュを使わない場合に比べて、そこまでの会話の読み込みトークンを10分の1に減らすことができます。
概要欄にも、今回の内容を解説した記事を貼っておきます。
最後に一つお知らせです。
ITエンジニア歴10年の僕が、中小企業・個人事業主向けに、AI・IT業務改善の支援サービスを実施しています。
相談は無料なので、概要欄のリンクから申し込んでみてください。
それでは今日はこのへんで。
