技術書「LLMのプロンプトエンジニアリング」の紹介と独自のアプローチ
こんにちは、ninjinkunです。
LLMのプロンプトエンジニアリング、GitHub Copilotを産んだ開発者が教える 生成AIアプリケーション開発という技術書を読みました。
オラリージャパンから昨年の5月ぐらいに翻訳が出た本ですね。
これはタイトルにあるとおり、GitHub CopilotというGitHubが出している、
もともとはAIによってコードを保管するツールとして出てきた、
最初はVSコードの機能拡張だったかな? 今もそうですよね。
そして出てきたツールを開発した人たちによる、 LLMを使ったアプリケーションの作り方についての本になりますね。
プロンプトエンジニアリングと書いてあるんですけど、
プロンプトエンジニアリングについて書かれている章は 全体の中では3分の1ぐらいじゃないかな。
あとはLLMが基本的に考えてますとか、
全体のアプリケーションを構築する方法とか ユーザー体験について書いてあるので、
私は最近読んだ技術書の中では 一番自分にミートした感じでしたね。
まさにこういう本が読みたかったなと思いました。
他のLLM関係の本との違いは、 ツールの使い方みたいなことはほとんど触れてなくて、
LLM関係の本って、 例えばラングチェーンというスタックを使って、
こういうふうにアプリケーションとか エージェントを構築しますみたいな、
そういうフレームワークの使い方の話が 結構盛れてるんですけど、
この本はそういう話はほとんど触れてなくて、
本当に割とハイレベルな考え方とか、 抽象的な部分に集中していて、
LLMの基本原理とアテンション機構の理解
それによって本が結構薄くて200ページ強くらいな、 技術書としては結構薄めな仕上がりになっているので、
とても読みやすいし、フォーカスがしっかり絞られていて、 いい本になってるかなと思います。
まず一番感銘を受けたというか、 そうだよねと思ったのは、
これは多分知っている人にとっては 常識だとは思うんですけど、
LLMというのは単純に文章を保管しているだけなんだよ ということですね。
その前にあった文章に対して、
次に来る文章を予測するということに 集中しているのがLLMであると。
私もいろんなところでこういうことを聞いたり 読んだりはしてたんですけど、
この本は結構徹底して、それがどういうふうに今の 行動保管とかチャットにつながっていくのかを書いていることによって、
つまり知能に見えるけど、 結局は言語の保管なんだよなということが非常に実践的に書かれているので、
普段、アプリケーションとかを使って、 チャットGPTとかクロードコードとかそういうものを使って、
何だか魔法みたいな体験に見えますけど、
単純に次に来る言葉を予測しているだけなんだよな ということは常に頭に入れておきたいなと思いますし、
実際にLLMアプリケーションを構築するときも、 パソコンのアイデアが頭にあるとなるとは
だいぶ違うと思うので、ここを強調しているのは すごくいいなと思いました。
あと、LLMの内部についてもある程度書かれているんですけど、
あんまり難しい話とかサイエンティフィックな話は だいぶ省かれていて、
例えばトランスフォーマーというアルゴリズムとか アテンション機構とか出てはくるんですけど、
それがどういうふうに実際のアプリケーションで動くのか みたいなところに割と特化した説明がされてますね。
なので、学術的に知りたい人は多分問題ないと思いますけど、
アプリ開発者としてはむしろこっちのほうが いいなって感じですね。
自分は結構これはいいなと思った説明が アテンション機構の説明で、
アテンションという仕組み自体は 他の本で知ってはいたんですけど、
理解してるとは言ってないですが、一応知ってはいた。
他の本で読んだ説明では、
他の今までのアテンション機構以前は 文章を次に予測するっていうことができても、
文章の次に集中しちゃうんで、 前にやったことを忘れてしまうというのが問題で、
例えば言語の言葉の順番が違う 日本語と英語の翻訳とかだと、
語順が違ってくると、そこでいきなり翻訳が できなくなってしまうっていう問題があったのが、
このアテンション機構があると、 文章全体に注意が払えるようになって、
それによってそういう翻訳とかも できるようになりましたって説明を読んだことがあって、
なるほどわからんって感じだったんですけど、
この本ではそれぞれのトークン、 文章に対応したトークンっていうのが内部にあるんですけど、
それを見ているミニブレインみたいなものがあって、
そのミニブレインが常に次に新しく来る トークンを予測するときに、
過去のトークンのミニブレインに問い合わせができると、
GitHub Copilotの開発とユーザー体験への洞察
それによって前に何があったかを次に予測するときに 予測する部分が知ることができるんで、
その語順の違いとか、もともとあったコンテキストとかを 新しく予測する単語に反映することができると、
そういうそれぞれのトークンの上に ミニブレインがいるっていう、
こういう視覚的なイメージが 自分は結構なるほどなと思って、
それに対して過去のミニブレインに常に新しく予測する ミニブレインが問い合わせをずっとするっていう、
そういうネットワークが形成されているっていうのが アテンション機構なんだよという説明があって、
これはなるほどなっていうふうに思いましたね。
割とそういう視覚的なイメージを提供してくれたのは 自分にとっては結構新鮮で納得感がありました。
もちろんこれで本職のサイエンティストの人たちと 同じ理解に到達したとは全く思ってないんですけど、
少なくともアプリケーションを構築する上では これぐらいの理解でも何よりはいいのかなという感じがしますね。
そのあたりが結構本の中で良かった部分で、
あとはこのタイトルにあるとおりプロンプトエンジニアリング。
そのLLMを使ってアプリを作るときは 何事もプロンプトというのが必要になるんで、
その話が書いてあると。
この人たちはGitHub Copilotっていうツールを 作ってきた人たちなんで、
もともとのオリジナルのGitHub Copilotは 2021年の6月下旬にプレビューリリースされたらしいんですけど、
私もこの時代は結構覚えていて、 2021年の後半にはこのプレビュー版を使っていた記憶があります。
当時はチャットとかが全くなくて、
GitHub Copilotというのはコードを書きながらタブキーを押すと そのコードの続きが出力されるっていう謎のマジカルなテクノロジーとしてリリースされて、
もともとコーディングをするエディターには 例えば既に使われている変数だったらタブキーを途中まで書いてタブキーを押すと その変数が暴って保管されるとかそういう機能がついてはいたんですけど、
こういうのは辞書ベースというか LLMを使っていない機能ですけど、
これのさらに拡張として同じようなタブを押すという体験だけで 今まで登場していないコードまで全部書かれると、
さらにもっとすごいのがコメントを書いて コードのコメントを書いてタブキーを押すとそのコメントに対応したコードが現れるっていう、
これも非常に驚きの体験でしたね。
当時は非常にこれの是非とか 学習の元になったコードの著作権とかそういうことが非常に議論された記憶があります。
今ではそういうのもだいぶ霞んでしまいましたけど。
なので私の理解というか自分の体感ではGitHub Copilotというのは LLMを使った最初の割と流行った産業の応用だったかなという記憶ですね。
おそらく他にもアプリケーションっていろいろあったんでしょうけど、
多分自分が最初に使ったLLMアプリって GitHub Copilotだったなと今から思うと思うんですが、
それが2021年になるとちょっとGPTが出てきてまた衝撃を受けるわけですけど、
当時はどちらもが同じLLMという技術に基づいているということは知らずにただただ驚いていたという感じなんですが、
今から思うとどちらもLLMを使っていたと。
GitHub CopilotはしかもOpenAIのCodeXというコード用にファインチューニングされたモデルを最初から使っていたらしく、
本当に同じOpenAIの技術が元だったということを内部についても触れられていますね。
なのでそういう実際のLLMを使ったユーザー体験を作り上げた人たちが書いている本なので、
結構ユーザー体験についても触れられていて、その辺りは自分もかなり興味があるところだったんで楽しく読めたし、
そこから未来への展望みたいなのはちょろっとぐらいしか書かれていないんですけど、
LLMアプリケーション開発の実践的知見とまとめ
自分もこれからLLMアプリを作っていくことになると思うので、
そういう最初の実際に動くアプリケーションを作った人たちの経緯を見れるというのはかなり勉強になりましたね。
例えば効果測定というか、そのLLMが出してくるコードの評価を構築するところから始めましたとか、
なるほど評価からかみたいな、本当にLLMというのはある程度ジャジャイもあるところがありますんで、
きちんとしたコードが出るかを測定する、それは単純に単体テストを通すみたいな、
出てきたコードのテストを通すみたいなことから始めたらしいんですけど、
そういうこうやって構築しましたって話が読めるのはこの本のかなりいいとこかなと思うんで、
なんかチャットできるアプリケーションを作りましょうっていう本はいっぱいあるんですけど、
こういうふうに実際に作った人たちの話が読めるっていうのはだいぶ貴重な機会かなと思うので、
そういう意味でもこの本は読んで非常に良かったなと思いますね。
こんなとこかな。
という感じなんで、おそらくこの本でそのハイレベルな考え方を知って、
例えばそのチャットアプリケーションを自分で作ってみるみたいなところから入っていくといいのかなという感じがしますね。
という感じで最近読んだこの手の物の中で本当に一番良かったかなと思います。
というLLMのプロンプトエンジニアリングディットハブコパイロットを生んだ開発者が教える生成やアプリケーション開発という
オラリージャパンから出ている本を読んだ話でした。
ありがとうございました。
