オープニング：LLM自作への挑戦
こんにちは、Kanohです。
こんにちは、Takigawaです。
こんにちは、Masuokaです。
NOOP Tech Talkは、大阪のスタートアップ企業で働くKanohと、 京都のスタートアップ企業で働くTakigawaが、
テクノロジー周りの話題から脱線しがちな 雑談を楽しむポッドキャストです。
演習はMasuokaです。
今週もよろしくお願いします。
よろしくお願いします。
私?
私が急に喋り出していいんですか?
はい。
喋り出しますね。
はい、お願いします。
よくKanohさんから振ってもらう形が良かったんで。
ごめんなさい、何も振りを考えてなかったっていうのが。
はい、お願いします。
失礼しながら喋らせてもらうんですけれども。
はい。
最近、LLM結構仕事で使ったりとかって やっぱりするじゃないですか。
で、あいつらは何者なんだと。
ちょっと仲良くなった方がいいんじゃないか みたいなところがありましてですね。
こちらですね。
LLM自作入門っていう本。
マニングかな?
マニングで出てるやつを買ってですね。
知ってます?
アリミテッドじゃない。あれで読めるか。
オライリー。
オライリーで。
これ自分、すいません。
それは後でやります。
まさかさんが必死に今スマホを操作して 晒していた。
買って、ぼちぼち。
作りながら学ぶって書いてあるんで 実際に作りながらやれるんですけど。
これを頭からぼちぼちやっていってる っていうのが最近で。
へー。
ですね。
どういうレベルになるのか 最終的に出来上がるんですか?
いやー。
今これね、何章あるんだっけ。
7章プラス付録でまだ2章なんで 最後何できるかはあんまり分かってないんですけど。
内容的には、なんかフローズみたいのがあって。
最後はなんかファインチューニングまでやる みたいな感じなんで。
なんかLLM作った後にファインチューニングして みたいなところまでが本ではカバーされているみたいな感じですね。
へー。
素人質問、いや本当に素人で 素人質問なんですけど。
はいはい。
LLMを自作してファインチューニングまで するっていうのは手持ちのコンピューターでできるんですか?
え、分かんないです。
そこまで?
そこまで行ってないです。
でもなんかPyTorchを入れてPythonの。
あーはい。
それで行列計算を山ほどすると 何か出てくるみたいな雰囲気を感じてます。
うーん。
家庭にある一般的なコンピューターでできるのかなと ちょっと思ったりとかして。
そうですね。
何次元空間でやるか次第じゃないですか。
でも多分。
そうそうそう。
なんかそういうパラメーターがあるっていうのと。
だから多分今使ってるオーパスみたいなやつを 作ろうとしたら多分とんでもないことになると思うんですけど。
ほぼ印刷読んだらオーパスが作れるっていう。
いやね、そんなんじゃないですかっていうのがあるんで。
そんなに作ったものを使ってやろうみたいなのは 期待はしてないんですけど。
一通りさらっておくとファインチューニングしたいな みたいなときにもできるかなって。
いや良さそうですね。僕もちょっと読んでみたいな。
オライディにあれば。
オライディプラットフォームにあれば。
あれば。
はい、みたいな感じで。
くじけずに。
パラメーター数さえなのかね。
結構難解ですか。
どうなんでしょうね。
中身あんまり分かってない。
分かってないって言ったらあれなんですけど。
やっていくうちに分かるかなっていうので。
そこまでめちゃくちゃ読み込んで進めてるわけじゃないんで。
そうですね。
動いてみてから考えようかなみたいな。
そういうのありますね。
ベクトル計算できないといけないのかなとか。
懐かしいな。
テンソルの計算を山ほどやることになりそうですね。
ちなみに現代って書いてますか。
現代、書いてね。
ビルドアラージランゲージモデルフロムスクラッチですね。
著者がセバスチャン・ラシュカですね。
出てきた。
でもなんか全然違うやつが出てきました。
ビルドアラージランゲージモデルフロムスクラッチか。
同じ本の名前だけど、著者の名前が違うな。
セバスチャン・ラシュカ。
ちょっとくじけずに続報があればまたそんな話をするかもしれないですが。
そんなことを最近やってます。
国産LLMが。
国産LLMが。
確かに。
ここからできるかもしれない。
そうですね。
少なくとも最後までやったら国産LLMが一つ爆誕するわけですからね。
一応。
国産の定義的にはそうなんのかな。
みんなで作りましょうか。
みんなでやりますか。
パラメーター増やしていっていい感じになればですね。
オープニングはこれぐらいにしてぼちぼちテーマトークのほうにいきましょうか。
PHP FoundationとState of PHP Survey
はい。
テーマトークのほうはPHPファウンデーションの最近の取り組みとステイトオブPHPについて取り上げたいと書いてあるんですけど、これはどういうことでしょう。
僕の希望です。
この配信でも何回か言ってるPHPファウンデーションっていう謎の組織があるんですけど。
謎?
もうここでは謎ではないんです。
ステイトオブPHPサーベイという調査が今行われていて、みんな資料を見せましょう。
ありがとうございます。
ポッドキャストなんて画面はもちろん配信できないんですけど、なぜか我々2人に向かってLTが始まるというような感じの資料がただいま。
LTをしましょう。
しないかも。
LTにしては資料多いな。
今、PHPファウンデーションからの呼びかけで、アンケートにご協力くださいといって、ステイトオブPHPサーベイ参加の呼びかけが行われているんですけど。
前回か前々回でも話題にしましたかね。ステイトオブPHPサーベイって聞いたことあるぞっていう。
そうですね。
PHPファウンデーションとJetBrains IDのPHPStormが共同して実施する、初のステイトオブPHPサーベイが始まっていますって書いてて。
PHPファウンデーションとPHPStormチームみたいなのがあるんですかね、JetBrainsに。
このチームが共同でステイトオブPHPを始めてますよっていうのがこのお知らせでですね。
JetBrainsっていうのは言わずと知られたIDの開発、販売をやっている大きな会社で、PHPStormがここの会社の作られたものですね。
どこから話をしようかな。
年次調査が今やっているので、PHPに関わる全ての方のご参加をお待ちしてますという形で開かれているんですけど。
聞いたことありますよねみたいな話で。
なんで聞いたことあるかというと、ステイトオブPHP2025っていうのがありましたよっていうニュースが出てるんですよね。
検索したら出てくると思うんですけど。
2025も2024もあったぞっていうので、昔からあったんじゃないかみたいな記憶があるんですけど。
昨年まではですね、JetBrainsが単独でやってたのかな。
あれ、さっき解説しましたっけ。
JetBrainsっていろんな言語、プログラミング言語を開発するための統合開発環境を販売してて。
そのユーザー向け、ユーザーというか開発者向けにThe State of Developer Ecosystemっていうやつを数年やってるんですね。
その中の一部として、PHPに関する調査結果を抜き出したものがステイトオブPHPって呼ばれて、毎年発表されてたらしいということです。
要は知らんけどって書いてますけど、よくわかりませんけど、多分そうですねっていうことですね。
2024、2025として我々が見てたのは、この大きなThe State of Developer Ecosystemという調査の中の一つだったということですね。
もうちょい調べたら、これ結構前からやってるみたいで、2017年からやってるみたいですね。
C言語から、C、シャープ、C、プラプラとかいろいろ、JavaScript、Kotlin、PHP、Pythonみたいな各種多様な言語に関する調査が行われてて。
これ自体は今年も行われてるみたい。
その中のステイトオブPHPっていうやつが今回、単独の独立した調査として、PHPファウンデーションとJetBrainsが共同で調査を行うようになったっていうことらしいという戦いらしいです。
PHPファウンデーションってなると、PHPコミュニティの財団であるわけで、そこが共同で運営するPHPの調査ってことになると、要するにコミュニティ正式な公式の調査ってことになりますよね。
言葉が難しいですけど、より公的な公の調査になったかなっていうところですかね。
今まではJetBrainsって一社がやってたと思うんですけど、それがよりいろんなユーザーの意見を取り入れるきっかけを持つようになったんじゃないかなという動きです。
なるほどね。
今回のState of PHPの解説とかを見ると、全てのPHPの開発者の皆様にという案内になってて、
いろいろな国とか業界とか経験レベルとかフレームワークを使っている人とか、デプロイ環境とかワークフローとか、いろんなPHPを使っている人のための代表的な意見を集めることを目標としていますって書いてますね。
長年書いてる人も、最近始めたばっかりの人も。
サンプルとして重要な人なので、ぜひとも投票をって話が書いてありますね。
なるほど。
目的としては、世界中の、これ何て発音するんですかね。
エレファントですかね。
エレファントなんですけど、ファのところがPHPになってエレファントですね。
世界中の、これ日本で言うとペッチファみたいなことですかね。
そうですね。
なんでしょうね。
世界中のペッチファの人口の実態調査で、そういう状況を把握しましょうっていうための目的を持った調査であるということです。
なんか抽選でゴムエ様になんかもらえるらしいですね。
何がもらえるの。
500ユーロ分のこれ。
商品券みたいなやつがもらえるらしい。
エレファントどっかに載っててですね。
あれこれじゃない。
サーベイのところにいましたよね。
そうですね。サーベイを開くといきなり。
知らない人向けに言ったけど、エレファントってあれですよ。PHPの象さんの名前なんで。
色んなところに。
紫の子ですね。
紫色の象で。
世界中の紫色の象を探せっていうみたいな感じの画像になってますね。
どういうことを調査しているのかっていうのを中身を見てみましょうかね。
主な説問とかなんですけど。
気になる気になる。
カンニング資料があってですね。
これは公開してはいけない。
してもいいんですけど。
中身のキャプチャーですね。
中身を全部キャプチャーして見やすくしてるってやつ。
みんな見ようと思ったら答えようと思ったら見れるやつです。
答えようと思ったら見れるんですけど、ページが複数に分かれてて一つにまとめたやつ。
言語情報使用してますかとか。
これ日本語でも答えられるんですよね。
言語選択で。
PHPファンデーションのブログとかは英語で書かれてるんですけど。
調査のフォームに移ると言語選択があって多分自動的に日本語になるんじゃないかな。
おそらくそうですね。
僕の環境では日本語が選択されましたね。
調査の質問とか結果とかも日本語で答えられるので参加はしやすくなってるなと思います。
全体的な質問の内容としては一時の期間どんなプログラミング言語を使ってますかみたいなやつとかですね。
これPHP全体の現状とかなのかな。
一番よく使ってる。
そうですね。どんなプログラミング言語を使ってますかっていうものとか。
ドキッとしますね。
今の第一プログラミング言語の第一話というのは何だって言われるとわからないですけど一番推しなのか一番使ってるのか。
最初の方はこういう感じのプログラミング言語何をメインに使ってますかみたいな話が多いですね。
そうですね。こういうのがザーッと流れてて。
PHPの利用期間、学習方法、バージョンは何使ってますか。
この辺は個人の感じになりますかね。どういう使い方をしているのかっていう。
アップグレードの主な課題は何ですか。
この辺からだんだん意味ありげなというか。
意味ありげなというか。
一人のところ見たいのねっていうような感じの意図もわからないが聞いてますね。
PHPの開発環境のOSなんですが主にコードは主に何を行っていますか。コードでは主に何を行ってますか。
何の目的にPHPを使ってますか。
この辺からかなり良い質問になってて。良い質問というかこうなってるんですかね。
普段使ってないことに関する情報の保管ができるというか。
例えば自分の使っている領域がこれぐらいだとして、それ以外にこういう使い方があるのかっていうのが知れる。
そうですね。
良いチャンスになるような質問になってます。
どういうところでPHPを使って開発しているかというと。
例えば普段eコマースサイトしか使ってない人たちからするとさらに別の使い道があるんだなみたいな。
あとは開発環境とか。
環境デバッグの方法。
これ毎回あるやつですよね。前も見たことある。
バーダンプやってる人とかDDやってる人みたいな。
ひたすら頑張ってダンプしますねみたいな。
イントーデバッグ。
この辺とかも面白いところですね。
フラッキングPHPとか。
どういうところでPHPを動かしてるか。
動かしてますか。
リアクトPHP。
該当なしって何なんですか。
該当なし自作ですか。
CLIしか使わないみたいな。
それはあるかもしれないですね。
あれでもApacheのModPHPとかはもうないんですかね。選択肢に。
あれはどうだっけ。
長くなりそうなので進めよう。
フレーズはどれですか。
下の方の質問でフラッキングPHPどれくらい使おうと思ってますみたいなのがあって面白いなって思いました。
もうちょっと下の方だと思うんですけど。
めっちゃ飛ばしすぎちゃったな。
フラッキングPHPはあれですね。
GitHubのプリポジトリがPHP配下に入りまして公式のアプリケーションサーバーになったってところがあるんで
コミュニティとしてはフラッキングPHPがどれくらい使われてるか知りたいところでしょうね。
本番投入したいですかみたいな。
ぜひしたいから絶対にしたくないみたいな想像があった気がするんですが。
これ今コピペ版を見てるんですけど、実際のフォームは入力した内容によって変わるんですよ質問が。
そういうことか。
ここでフラッキングPHPを選択すると次のところにフラッキングPHPに対する質問みたいなやつが出てくるんだと思います。
動的になってるんですね。
質問の内容によって調査のボリュームが少し変わってくるっていう内容になってます。
確かにプログラマーじゃないみたいな選択肢もあったから、その人たちにこれの量の物量の質問を浴びせても途中で答えてくれなくなっちゃうのはありますよね。
ちなみに今見てるのはプレーンなやつであんまり分岐してないものですね。
基本的な質問ばっかり見てる感じです。
そういうのがいろいろ気づいて。
さらに今後を左右するような質問とかもあって。
これすごいのあるな。
優先してほしい機能のリクエストとか。
PHP機能リクエストってPHP言語自体のリクエストですね。
今後開発が行われるだろう、あるいは現在行われているものの中で優先度を測りたいみたいなところがあるのかもしれないですね。
PHPファンテーション自体は仕様に対して口出しをしないみたいなことを最初の設立その時に言ってて。
集まった予算の管理とかどういう風に配分するかみたいなところはやるけれど、仕様決定はあくまでコミュニティのものだみたいなことがあったんですけど。
あくまでこれはだからそういう意見を集めて。
傾向を見ようというところですね。
この辺も面白いですね。
すごいなこの開庫完成と新機能、どっちを優先するか。
これは面白い質問来たな。
ガンガンやれなのか。
いろいろ直接PHP自体を開発している人たちだけじゃなくて使っている人たちとか、さまざまな人の意見を見るとどうなるかという傾向が取れるんじゃないかなと。
大体そんな感じの質問がいろいろ続いて、大体15分ぐらいで終わりますよみたいな感じだったですね。
最近特徴的な問題としてはAIがコーディングに関わることについて反対、同意みたいな質問とかもあったりとか。
これ面白いですね。
エレペントの画像がどんと出てきて終わりましたね。
今回の話のテーマとしては協力するといろいろもらえたり。
そういうことなので協力しましょうということですね。
この配信を見てアンケートにサーベイに答えてくれた方はサーベイ語に共有っていうのがあるんですよ。
サーベイの調査に協力しましたみたいなツイートができるので、ハッシュタグにNOPTTを追加して、財団を怖がらせましょうっていう。
ひどい。
なんなんだこれはみたいな感じになる。
NOPTTってなんだって。
そうですね。
スパムか。
いいですね。
スパムじゃないですけど。
なんだこいつ、ざわってなる。
そういう感じでみんなで協力する。
PHPアンバサダープログラムと今後のコミュニティ活動
協力というか意見を出しやすくなってきてるんじゃないかなと思うので、いい機会なので調査に協力しましょうっていうところでもう一つあってですね。
ここまでがState of PHPなんですけど。
もう一個お興味深いブログの記事がありましてですね。
PHPアンバサダープログラムが始まります。
これ前もちょっと言ったかな。
アンバサダープログラムが始まりますよっていう記事があってですね。
こっちは英語の記事なんですけど。
アンバサダープログラムは、PHPをもっと広めていきましょうみたいなプログラムがあって、それに関するミーティングが行われるので、そのミーティングに興味がある人は、キックオフミーティングに応募を通じて登録してくださいって書いてるんですね。
このアンバサダープログラムのミーティング自体は6月30日なのでもう終了してるんですけど。
ポイントはですね、この先にあってですね。
アンバサダープログラムの登録フォームのところに行くとですね。
フォームが表示されるんですけど。
これってですね、ここにあるフォームはですね。
アンバサダープログラムだけのフォームじゃなくて、今後開設予定の様々なグループがあってですね。
そのグループに興味ある方はここに登録してくださいっていう風なフォームがあるんですね。
だから5、1、2、3、4、5、6、6つの取り組みが今後行われる予定で。
この最初のやつ、これセキュリティのやつですね。
ちょっと前に、エラーレベルライブジャパンとかの前に。
ちょっと前に発表ありましたね。
発表があったんですね。
このプロジェクトのセキュリティに関心がある人みたいなやつ。
これが進んでて、その次にあったのがこの間ミーティングがあったアンバサダープログラム。
これが6月で、7月がですね。
これなんだ?
PHP オープニングイニシアチブ。
PHP 初学者向けの何か。
初心者向けか。
なるほどね。
こういう取り組みをやるらしいので。
それに興味がある人はここに参加してくれっていうやつですね。
だから財団側からそういうプログラムを外部からの協力を求めてるみたいな感じになるのかな。
で、暗号ワーキングクラブとか。
で、ちょっと興味深いやつがここにあってですね。
9月。
そう、9月のやつ。
コミュニティイベント。
コミュニティイベント連合ってなんだ?
これコミュニティイベンツ。
コミュニティイベンツコー。
これ何て読むんですかね。読めない。
読めないですね。
コーリー。
コーディションみたいな感じの。
コーディション、連合って翻訳されてますけど。
ユーザーグループの運営とかPHP カンファレンス。
PHP カンファレンスって言ってるのはこのもっとグローバルなやつですね。
PHP のカンファレンス。
はい、カンファレンス。
これヨーロッパでやってるようになったかな。
適当に言いました。
ドイツでやってたような気がするけど。
そっちのPHP カンファレンスのことだと思います。
ここに書いてるやつ。
でもこれホスティングRPHP カンファレンスだから多分
本当ですね。
どんなPHP カンファレンスでも
多分日本でやってるやつとか。
今立ち上げてるやつのことか。
なのかな。
この辺のユーザーグループとかカンファレンスの開催に関する
何らかの何かが始まるらしいので。
ここを登録しておくといいのではという気はしてきました。
割と見逃しがち。
登録したら何かある。
登録したら何かあったら連絡くるって感じですかね。
多分今回、今回というか
前回アンバサダープログラムの時に
これ1時間のミーティングをやったのかな。
この時は。
この時は特定の時間を設けて
キックオフセッションみたいなやつが
アンバサダープログラムの時はあったみたいですね。
だからこういう感じのミーティングが開かれる可能性があるという。
なので日本国内のコミュニティを運営している人
あるいはHPカンファレンスを主催している人は
ここをチェックしておくと
何らかのミーティングが開かれる可能性が
9月ある気がしています。
とりあえず今話を聞きながら応募しておいたんですけど。
すごい。
すごい。
僕紹介するだけで何もしないですね。
これがうかいに必ず出席してくださいとか言われると
英語がしんどいんであれですけど
とりあえずやるだけだと。
興味があるよという姿勢を示しておくだけでも
全然違うと思います。
今まで日本だと日本だけでイベントをやっていることが多くて
直近でラベルライブジャパンが
それをグローバル化したみたいな。
それでいい意味の
なんていうんですかね。
もう今日はダメです。
言葉が出ません。
なんかいい感じになるんですよ。
よくわかりませんけど。
いい感じになるんですよ。
確かに日本のPHPカンファレンスって
日本でもすごく盛り上がってはいるんですけど
なかなかダウンストリームというか
この前ラベルライブジャパンが一番
世界とつながっているような感じだったかなとは思うんですけど
そのあたりのつながりというのはあまりないので
やっぱりこのあたりでそういうのができるといいですね。
ここでこのThe PHP Foundationというのがあるので
ここをきっかけに
いろんな国、いろんな国なのかな。
いろんな地域の情報共有とかができるきっかけになると
面白くなってくるんじゃないかなという気はしています。
ありがとうございます。
登録したんで何かメールが来た直後しゃべります。
日本からめちゃくちゃ登録して
ファンデーションを怖がらせましょう。
これをお聞きの皆さんも。
これをお聞きのコミュニティおよび
カンファレンス主催者の皆さんも。
まずアンケートの方も答えていただいて。
そうですね。
サーベイの方も。
サーベイの方は去年のアンケートの結果だと
なぜか日本の回答が多いみたいな話もありましたよね。
統計的に見ると1位とかだったんじゃないかな。
何かしらのフォースが働いてると思うので
今回もそのフォースを働かせていければ
面白いんじゃないですかね。
コミュニティ・エベンツ・コーディションって言ってますね。
音声読み上げしてるんですね今。
音声読み上げして。
我々にも聞こえておらず
増岡さんにだけ聞こえているのを
復唱いただいたという感じです。
それなんかやばい人みたいですね。
僕だけ聞こえてる声が。
コミュニティ・エベンツ・コーディションに参加しましょう。
皆さん興味ある方お願いします。
イベント紹介とエンディング
ちょっと長くなっちゃいましたけどこんな感じですかね。
じゃあエンディングいきましょうか。
気になるイベント紹介コーナーは
関西PHP勉強会ですね、まずは。
関西PHP勉強会が来週の7月13日月曜日に
梅田のクスカワシビナー
わりとよく行っているというか
ほぼいつものところで開催します。
でですね、これ前回
今ここが56回なんですけど
55回がですね、台風が直撃して
お休みにしてしまったので
その回に登壇申し込んでくださった方に
連絡してですね、ここにねじ込ませてもらう
っていうのをやっているので
内容盛りだくさんの会員になってますんで
ぜひぜひ来てみると
良いんじゃないかなと思ってます。
現場から愛情です。
あとあれですね、東京なのかな
東京からコトミンが来ますね。
こないだPHPフロントエンドカンファレンス
北海道の事故を延長していた
コトミンがやってくるので
ぜひぜひ来てみるところです。
お話しに来てください。
あとは今月も7月になりましたので
今月ですね、PHP Conference Japanが
他にありますね。
ちょうど関西PHP勉強会の1週間後ですね。
7月20日かな。
そんな近いのか、なるほどな。
そうか、月曜日だからそうなんですね。
海の日。
そうですね。
案外もうすぐか。
海の日か。
祝日ですね。
そうですね、月曜祝日ですね。
6月祝日なかったので久々の祝日だ。
そうか。
今回はこの前も言いましたけど
2トラックになっていて
10時からですか、オープニングがあって
そこからいつも通りセッションがある
みたいな形になってますね。
面白いのが多いですね。
会場の都合でちょっと
例年よりは縮小開催になるんですけど
内容は盛りだくさんっていう感じになってるのかな。
最近話題のコンポーザーセキュリティ健康診断みたいな
アプライチェーンの話がある一方で
ファミコンでPHPを動かすっていう
なかなかニッチなものがあったりして
おー、いいっすね。
ファミコンでPHPを動かす、いいですね。
というのがあったりするので
ぜひ皆さんお越しください。
さて、というところで
今回はここまでにしましょうか。
このポッドキャストノーフテックトークの感想は
ハッシュタグNOOPTTで
Twitterもしくはムキツリミクシー2で
ポストをお願いします。
最後までお付き合いいただきありがとうございました。
ミクシー2って言いづらいですよね。
はい、また来週。
さよなら。