00:01
はい、みなさんこんにちは。ヨンイチのちょっとお仕事が変わる話へようこそ。
この番組情報をお届けするのはヨンイチ。これまでITコンサルティングの経験をもとにですね、
普段の仕事が少し変わる働き方やAIアプリなどのちょっと役立つヒントをお届けします。
トークンの基礎
はい、今日のテーマはトークンってなに、です。
AIを使っていると、よくトークンという言葉、耳にすること多いかと思います。
何かと制限とか、そういうお話をするときに出てくるのがトークンというもので、話題には上がってくるかと思います。
実際このトークンというのは何となく言葉としては聞いてるし、
そういう何かの量だなっていうのは皆さんご存知な方もいらっしゃると思うんですけど、
意外とじゃあ説明するのは難しいと、そういう方も多いのではないでしょうか。
はい、じゃあトークンっていうのはまず何なのかというのをご説明していきます。
トークンというのはAIが文章を処理するときの最小単位となります。
なので例えば、今日は暑いねという短い文章で言うと、
この一文でそのまま扱うのではなく、
今日は暑いねと言ったようにですね、
いわゆる女子だとか、そういう品種単位で分解をして処理する。
この単位がトークンと言われるものになります。
なぜこのような処理が必要なのでしょうかというと、
AIというのは文章を丸ごと理解しているのではなくて、
基本的にこの欠片を一つずつ細かく分解してみながら、
次に続く言葉、何が自然か、何が来るのだろうかというのを細かく処理をして判断をしています。
なので、レゴブロックとかで作品を組み立てていくようなイメージですね。
この塊が来たから次はこういう風にしてみようという形で、
大きいパーツじゃなくて小さなブロックを積み重ねて形を作るというポイントになります。
そのブロックこそがトークンというふうにご理解いただくと分かりやすいのかもしれないです。
結局このトークン単位で処理を動かすので、
結果的に利用制限だとか料金っていうものに直結していくというお話になります。
ちゃんとGPTだとか他のもの含めて結構最大何トークンまでみたいな制約があるのは、
料金プランとかで出てくるお話にもあったかと思い、見たことあることはいらっしゃるのではないでしょうか。
実際そうですね。
その他、実際に読み込んだ時のトークン量とかによって、
実は裏側に情報構造が組み合わさって、
トークンの他の情報も多かったりすると、
こういうところでの思ったより金額が高く出るというところがあるところが特徴になるかと思います。
なので質問ですとか回答とかが長くなるほど、
トークンの影響
トークンっていうのは消費をしていくことになります。
なので結構AIで長文貼り付けたら切れてしまったとか、
処理ができないように続きお願いしますみたいなやり取りあると思うんですけど、
これがまさしくそのトークンっていうところの上限にぶつかっているからという形になります。
具体的にどれぐらいがトークンとして扱うのかで言うと、
1000トークンで日本語ならだいたい700から800文字というふうに言われます。
メールで言えば1通2通、ちょっとした文章という形のものになります。
なので結構長い資料を読ませようとすると足りなくなったりということがあります。
この辺がより処理能力が上がってきていて、
大量の資料とかでも読み込ませられるというところがより進化につながっているというところですね。
ここで小ネタで言うなら日本語と英語だとトークンの違いも実はあって、
日本語の方が比較的助詞、さっきの今日は暑いみたいな話で言葉が細かく分かれるので、
トークンが英語よりも多く使われる傾向にあるそうです。
AIという2文字、日本語だと日本に表記するとアルファベットのAIという形で、
2トークンとして実は計算されることもあるらしいんですが、
英語だとワントークンで終わるということもあって、
日本語の割高になりやすいそうです。
もともと日本語をそのまま理解しているのではなくて、
日本語を英語に翻訳してさらに読み込んでいるというのもあるので、
今でこそだいぶ日本語もこなれましたけど、
この出始めの頃とかは英語の方がやっぱりスムーズなコミュニケーションが取りやすい、
安いというお話もあったぐらいなんですよね。
なのでこのあたりを知っておくと、
なぜこのAIの利用料金とかが関係するのかとか、
普段のやり取りでなぜ長文になってくると結構切れてしまったりとか、
なるのかっていうところの疑問にお答えしやすいのではないでしょうか。
周りの他の方との会話とかでもトークンっていうところで、
実はAIの文章を扱うブロックみたいなもんだよ、
みたいな形でちょっとフォローしてあげると、
少しわかってるなっていう感じに思われるかもしれませんね。
今日はトークンって何というテーマでお話ししました。
AIの処理単位で結果として料金や制限の基準になる仕組みというところでお話をしました。
今日の内容が少しでも役に立った、面白かったと思われましたら、
ぜひいいねやフォロー登録お願いできればと思います。
では次回もまたちょっとお仕事が変わるお話をしていきましょう。
よいちでした。ありがとうございました。
