00:02
こんにちは、AI駆動開発部の日常へようこそ。 このポッドキャストは、日々AI駆動開発を行う
企業家の山本とエンジニアの阿部が、 AI駆動開発のリアルをゆるく語り合う番組です。
はい、じゃあよろしくお願いします。
よろしくお願いします。
はい、ついに来ましたね。GLM-5。
来たね。
使ってみましたか?
使いましたよ、もう。すぐ切り替えました。
結構ね、個人的には使ってみて優秀そうだなっていう感じはあるんですけれども。
ちょっとどんな感じで使ってるかとか、 あとクロードコードに設定できるじゃないですか、GLM。
レビューの方でもクロードコードレビューっていうかな。 クロードコードアクションっていうのかちょっとわからないけど。
あっちの方でも設定とかできたんで、 その辺りの話とかシェアできたら面白いかなと思うので。
ちょっとお互いの感想というか、 使ってみてどういうこと強そうだよねみたいなところの話ができたらいいかなというふうに思ってます。よろしくお願いします。
お願いします。
はい、じゃあまずはGLM-5が一応どれくらいすごいと言われてるかみたいなところの話からできたらいいかなと思うんですけれども。
GPTの5.2ぐらいですね、それぐらいに匹敵するようなモデルとして紹介されて。
GLMのコーディングプランのページでもね、出たらそこソネットからオパスとの比較に変わってて。
もうソネットとは比較するまでもないって感じなのかなっていうふうに。
思ったね、公式サイトからも。
確かに。もう眼中にないみたいなね。
そうそう、もうソネットは眼中にないみたいな感じなのかなっていうのを見て取れたなと思って。
しかも前に紹介した通り、GLMのコーディングプランでも使えるっていうところで。
実際ね、我々GLM4.7でやってたんだけど結局アホだなってことでCodecs使っちゃってるみたいなとこがずっとあったっていうのがあったけど。
5が出て、ちょっと使用感とかその辺の話できればと思ってます。
一応なんかそんな感じで、ベンチマークの比較的には、けどなんか物によってはオパス4.6?5より頭いいぐらいなのだったっけ?
03:07
4.5より超えてるのももちろんあるって感じかな。
4.5か、はいはいはい。そういう感じらしいんで、そこそこ優秀でっていう感じなのかなっていう。
機体のGLM5なんですけど、阿部ちゃんあれよね、同じタスクをGLM5とクロード5でオパス4.6かと、
あとCodecs5.3のエクストラハイの比較っていうところがあるんで、そこの結果というかどうだったかみたいなところの共有からしてもらえると嬉しい。
僕はね、そのGLM5が出て、昨日かな一昨日ぐらいからプレリクエストだったりに、今ってAIがかなりレビューを結構数返してくれるんだけど、
まずそもそもそのレビューに対して妥当性が本当に正しいレビューなのかっていうチェックと、それに合わせて優先度、やるやらないを取捨選択して対応していくっていうタスクが、結構3つ並列、エージェントを並列させて動かすのにいいかなと思ってたので、
試しにその妥当性評価と実装、修正の方針確定っていうところまでをGLM5とクロードのオーパス4.6とコーデックス、エクストラハイだね、エクストラハイでそれぞれ戦わせてみたというか、
見比べてみたんだけど、結論一番優秀だったのは、これがねちょっと意外だったんだけど、今2,3回やってる中で優秀だったのはやっぱりコーデックス、エクストラハイ、GPT5.3のエクストラハイが一番優秀だったんだけど、
ものによっては、オーパス4.5が一番いい返答を返してくれるパターンもありました。
で、肝心のGLM5はどうかというと、結構いい線までは行くんですよ。部分的には正しいとかはあるんだけど、収集したデータ自体、レビューされた結果を収集して、こういうレビュー返ってきてますっていうところをきれいに精査したり優先度つけたりするのはできてるんだけど、
06:00
全体にどう対応すべきかっていうことを考える点においては、ちょっと的外れな方針を示したりしてしまって、3つのモデルが返した答えを、それぞれ何がどの回答が一番いいかって競わせたときに、GLM5は最終的な方針が誤ってますっていう評価になってました。
それは調査系?基本的に。
レビューの方針検討して、実際にどう実装するかっていうところだから、コーディングの方針検討っていうところかな。
そっち側だと、どうしてもいいように情報収集したりはできるんだけど、ラス1のどうやるべきかみたいな具体的な方針を決めるときには、思考のブレなのかわかんないけど、
すべてのコーディング規約を全部把握して、何か間違い、破綻のないところに落とし込むみたいなのが結構難しいのかなっていうような体感はありましたね。
その点いうと、Codexとかは結構破綻なくちゃんとやりきるっていうのが得意だから、そこで結構差が出てしまって、そこの部分だけは差が出るなっていうのはすごく感じました。
レビューに関しては、そういう意味では、情報収集したりっていう点は良かったんだけど、最後実装の手前まで行くときに少し物足りなさを感じるっていうのが1個ありましたね。
ちなみにCodexとOpusはどっちが良かった?
これね、50-50ではあるんですよ。Codexが正しく結論、最終的な方向まで行ってる場合もあれば、それがうまくいってなくて、Opusが良かったっていうケースもちょっとあって、
僕の中では一番Codexが基本的には良い回答を出してくれるっていう認識ではいたんで、ここ意外と結構するんだなっていうのは驚きでした。
ただ今回あれなんですよ。前回話してた、ちょっと話しとれちゃうけど、クロードコードの方で新しく出てきたAgent Teamsを使って、いろいろ強調で会話させて、最終的な結論を出してくださいみたいな話も盛り込んでたから、そういったのがもしかしたら効いてきたんじゃないかな。
なるほどね。ツール側のポテンシャルの底上げみたいなのがあったかもしれないね。
あったのかな、みたいな感覚はあるね。
はいはいはい。
09:00
なるほどね。それを使ってか、なるほど。
でも?
でもね、GLM5本当にね、飛躍的に性能が伸びたなっていうのは実感してます、正直。
あ、4.7から?
そう、4.7からの飛躍はすごいなって感じましたよ。
えー。
4.7の時に僕、まあ以前も少し文句言ってたかもしれないんですけども、やっぱり直前の会話の内容を忘れてしまったりとか、大事なこういうことはしないでくださいとか、あとは質問したらその質問を指摘だと勘違いして実装に入っちゃうみたいな。
そういう混乱をしてしまうみたいな、半年ぐらい前のハイエンドモデルによくあったような挙動っていうのがほとんどなくなっていて、しっかりと会話が成立して、質問したら質問にちゃんと返してくれるし、そこはその点に関しては正しい回答は返してくれるっていう形で。
基本的な質疑応答だったり、あとはやっぱり調査っていう部分には情報収集するのは強いんじゃないのかなっていうのを感じたね。
なんか俺の方でGNM使ってたのが、俺はあんまりコーディングはさせてまだないんやけど、ドキュメントをアップデートしていく、コードとの差分を見てユーザー向けのドキュメントをアップデートしていくっていうのと、
あとはE2Eテスト、どっちかというとプレイライトのMCPを使ってE2Eテストをしてもらう、探索的に自分で考えながらやってもらうみたいなテストをやってもらったんですよね。
その時に感じたのが、ちょっとハルシネーションっぽいやつが多いのかなって。俺はほとんどクロードコードのOPASは使ってないから、使ってるか、使ってるね、使ってるわ。
オパスの4.6とコーデックス5.3か、両方結構使ってるね。その上でそれと比較して、なんか結構ハルシネーションっぽい、なんかそれっぽく言うみたいな。けど間違ってる、事実とは間違ってるみたいなのが、なんか結構散見されたなーって思ってて。その辺ってどう?
いや、そこもね、調査タスク、バグの調査をお願いするのも、また3つのモデルで戦わせたんだけど、結局ハルシネーションっぽいというか、結論やっぱ間違えちゃうことが多くて。
なんか俺の体感では、最終的にはやっぱハルシネーションっぽいというか、まあそもそも間違った判断を下すことはあるなっていうのはありつつも、その、それの前の調査系、調査をしてるツールユーズとか、なんか問題にぶち当たったら、それを解決して何とかこう結論まで持っていくみたいな力自体は強いんだけど、
12:10
その最終的に集めた情報をもとに、最後結論を出すのにミスるみたいな。なんかそういう感覚がありますね。
なるほどね。じゃあまあ考えさせたり調査するより、むしろ実装させるとかの方がいいのかな、もしかしたら。
なんか脳死で実装させるとか、とにかくバグが起きてるからサーバーに情報収集しさせようとか、それだけに特化させるのが今のところいいんじゃないかな、みたいなイメージだね。
なるほどね。だから事実情報がちょっと事実無言になりかねないよね、なんか。
そうそうそう。
っていうところだよ。
せっかく集めたのに、みたいな。
うん。
うんうんうんうん。そうやな。
一方でなんか、これは他の人たちも言ってるけど、日本語力?
あ、そうね。
日本語の表現うまいなっていう感じがあるんで、なんか日本語を生成させる系は結構良さそうだなーっていうふうには。
そうだね、今日もスキルだったりスラッシュコマンドかな、カスタムプロンプトンみたいなのを作らせるのを、これをまた同じくこういう課題があってこういうのを作ってほしいっていうのは、オーパス4.6とGLM4、2人にお任せしてみたんだけど、
これに関しては、GLM5の方が、たまたまかもしれないけど、本当によく書き出してくれたから、今回はGLM5を採用するみたいなことも実際に起きたんだよね。
あーそうなんや。じゃあなんか全負けではないんだ。
なんかそう、だから事前情報をちゃんと与えて、こういう文章を作ってほしいっていう、なんでしょう、明確な意図だけ与えれば、それはなんかこなしてくれるような印象はあるよね。
あと4.7の時から思ってたけど、ツールユーズ上手いよね。
いや本当にそこはね、なんかね謎にツールユーズしたり、あと推進力っていうところかな。
ちゃんと使ってやれることはやるみたいなのをしてくれるかなって思ってる。
上手いね。
いやーなんかけど微妙なところになってきたね、これは。
実用的に普段から使う、使えそうな気もするけど、ハルシネーションちょっと怖いなみたいな。
そうだね、もうメインの、まあそれこそ僕らで言うところのコーデックスぐらい信頼を受けるやつかって言われるとまだ、だからちょっと、だけど、もうなんかかなり、なんでしょう、オパスとも匹敵してるなって感じ、匹敵というか近づいてきてるのはすごく感じるから、メインで使えるのが見えてきたなって実感は今回ありますね。
15:07
確かに確かに。
まあちょっとなんかそういう意味でなんかユースケースとして俺的にこれが良さそうだなみたいなところを。
まあちょっと先ほど一番端の冒頭で言った、クロードコードレビュー、GitHub Actionsで動くクロードコードのやつも、あれもGLM5のモデルで動かせたんですよ。
なんか、コーデックスに調査してもらったら、クロードコード上でGLM5を使う方法っていうところで言うと、ベースURLを書き換えて、ZAIのAPIに、コーディングプランのAPIに置き換えるみたいなやり方をするじゃん。
それと同じことが一応クロードコードレビューでもできる、YAMLファイルで定義して、ベースURLをクロードコード側に渡して、ZAIのAPIキーを、そんなダーティーハックすることもなく普通にできたって感じ。
それが良いのか悪いのかみたいなところはあるけれども、それで動くんだったらレビューをさせるとか、GitHub Actionsで動く系のものは結構、結局レビューが返ってきても、うちのオペレーションで言うと絶対にレビューの妥当性をチェックさせるじゃん。
そうだね。
そう考えるとコーデックスとかオパスとか、もっと頭のいいやつのレビューが入る間の部分に差し込むとかは結構実用度あるのかなっていうのはちょっと思った。
若干僕はまだそこは心配してるけどね。結局、例えば今回のサブ見てコードのサマリーを出してくださいとかだったらできると思うんだけど、そこから類推される問題点みたいなのは彼には考えることができるんだろうかっていうのがまだちょっと不安で。
けどそれで言うとあれかな、俺の言うレビューの伝え方があれだったかもしれないけど、前提として、そうだうちCode Rabbitも導入したじゃん結局。
そう、この辺だね。
コードラビットのレビューも、ちょっとそれもまた共有できればなっていうふうに思うんですけれども、コードラビットのレビューも動いてます。
コーデックスのレビューも動いてるもちろんっていうところで。
そうだね。
使用差分みたいなところとか、使用漏れとか、その辺はコーデックスとか結構抑えてくれるし、コードラビットも一行一行見るみたいな感じなんで結構精度高いっていうところで、
18:01
もうなんか、それのちょっと間をすくってくれる可能性があるぐらいの感覚?
どっちかというとプロジェクト規約に合ってるかっていうのだけを見てみたいな。
だから思考はいらない?それと合ってるのかどうかみたいな。
なるほどね。
プロジェクト規約、こういうふうに書きなさいよっていうコーディング規約に合ってるかどうかのチェックだけでいいかなっていうふうに思ってて。
すでにバグが起きそうかなっていうチェックは、特にコーデックスだったり、あとはコードラビットがある程度になってくれてるから、
今のルールに従ってるかどうかっていうのを当てはめて考えてくれるだけでも十分じゃないかっていうのが、GLM5のレビューの役目みたいな。
そういうのも、別にもともとクロードってクロードコードレビューを動かしててもさ、そんなにまとえたフィードバックが入ってきた気がしない。
正直そうだね。
そうなんですよね。そういうのもあって、GLM5に任せても。
そうだね。彼が言ってることは半分ぐらいそうかなみたいなのありつつ、結局ローカルでレビューの妥当性検証みたいなのは必ず回すから。
そうそうそうそう。
っていうところと、あと、e2eテストをPlaywright MCP使ってやらすのは、早いって阿部ちゃんに言ってたけど、
コーパスでやらしたからとかコーデックスでやらしたからっていうのはちょっと分かんないからどうか分かんないけど、
ちょっと前の、それこそ5.2とか5ぐらいかなとか、コーデックスのぐらいの時にやってもらった時より圧倒的に早くて、
それが指示の仕方が今回よかったからとかいろいろあると思うけど、
もしかしたらツールユーズがうまいっていうのも一つの理由にはあるのかなって思ってて、
そういうツールうまく使いながらやらす系とかは任してもいいかなっていう感覚があるっていうのと、
あとカーサーかな、やっぱカーサー上で使うのは結構細かい修正が多いじゃん。
ここのUI構成ぐらいのね。
そうそうそうそう。だから結構ユーザー側がコントロールしやすいケースが多いと思ってて、
あとデバッグスキル、デバッグのモード使うのもそんなにあれだと思う。
事実を確認してっていう前提があるから、
その辺は結構GLM5になったら割と実用的に使えてくるんじゃないかなっていうふうに期待してます。
確かにそうだね。
もしかしたら。
なんとなくね、そのe2eテストのスピードについては、僕の中でやっぱツールユーズのうまさかなって感じて、
21:05
言われて、そっちかって思ったんだけど、速さだけで言うと、実はオーパス4.6の方がベンチマーク上でもGLM5よりも速いんですよ。
はいはいはい。
実際に僕が3つのコーデックスと並べて比較してる時も、GLM5遅かったんよね。
単純なコーディングっていう意味であってことね。
そう、調査とかコーディングだけで言うと少し遅かったから、なんでなんだろうってふと思ってたんだけど、
ツールユーズのうまさが多分効いてるんじゃないかなっていうのは聞いてて、すごく今納得したかな。
だからそういうのをやらせるっていうのはすごく生きるかもしれない。
あと言いついテストってさ、今やらしてるのは、今度また細かいシェアはできたらと思うんだけど、
Playwright MCPで各画面に行って、各ステップのスクショを取って、TMPフォルダみたいなの作って、
そこにスクショをバーって入れて、最終的にそこも解釈してみたいな感じでやってるんだけど、
コンテキスト結構食うじゃん、Playwright MCPとか特に。
そうすると、クロードのコンテキスト使うのちょっともったいないなっていう感覚。
確かに。
精査だけ、精査というか情報収集とかそういうのだけバーってやらして、ログとか全部取って、
その後コーデックスとかにバトンタッチみたいなのとかはいいかもしれないね、もしかしたら。
画面読み込みとかもあるかもしれない。
画像読み込むのも結構ちゃんと想定外の画面になってたりしたらそこは指摘してくれたりしたの?
ショーター1コードのレートリミットをつけてたのを、
いやこれそもそもいらんじゃんって思って外したんやけど、
その文言がユーザー画面側に残ってて、それをちゃんと解釈して、
ここ残ってるのを一つ問題点でしたみたいなのを言ってくれたから。
できるんだね。
ちゃんと見てんじゃんと思って。
すごいねそれは。
あとなんかね、
自分でプレイライトMCPでバーって探索するパターンと、
あと決まった方がある程度プレイライトのコードを書いて実行できるときはそれで実行しろみたいな感じの指示を出してたんだけど、
それもちゃんと作って走らせてたね。
そうなんだ。
すごいな。
24:01
だから実行力はあるんだなって感じよね。
そうだね。
そんな感じで、
クロードコードレビューみたいなハーネスが、
どのモデルでも使えるみたいな、
オープンソースとかであったら嬉しいね、オープンコードみたいな感じで。
あー。
それはギターバクション通常とかでも動くよみたいな?
そうそうそうそう。
はいはいはい。確かにそうね。
クロードコードレビューで。
モデル側だから、
クロードコードのハーネスにチューニングされたモデルだったりプロバイダーじゃないと動かないからね。
そうそうそう。
そういうことか。
倫理的にもどうなのかっていうのがあるから。
本当にね。確かに動かしていいのかなみたいな。
若干不安になりながらやる。
そうそうそうっていうのがあるから。
今回ちょっと試しでやっただけだけど、
実際にさっき言ったレビューのユースケースで、
じゃあ本チャンで使おうってなったら、
大体品が必要になるなって。
まあ確かに。
やってることはシンプルだから、
マストラとかで簡単にできそうな気もするけど。
確かにマストラできるかな。
まあできるか。
別にクロードコードレビューみたいにさ、
いろんな会社が使えるっていう前提にするんじゃなくて、
自社用だけでやるんだったら全然できるくない。
しかも今ほら、前提として、
うちマックミニでGitHub Action動くようにしてるから、
マックミニでローカルで立ち上がったらOKっていう前提。
だったら全然できると思う。
まあそんな感じですかね。JLM5。
まあ結構いい感じだけど、
今の最新モデルにちょっと劣るかなぐらい。
みたいな感じ。
そうだね。
そういう意味でGemini 3.0 Proと、
ごめんちょっと最後終わりかけたのにあれやねんけど、
との違いとか感覚ある?
いやGeminiはちょっとまだそもそもそんな使ってないから、
分かんないな。どうなんだろう。
使ってみたりした?
Gemini 3.0 Pro、まあ俺たまに使うんやけど。
あ、そうなんだ。
デザインとかで結構複雑だなとか、
なんかリッチにしておきたいなみたいなときは、
基本的に画法はGeminiにお願いするみたいなことをするって感じ。
まあだから俺の理論と言うと、
そうそう、アンチグラビティ経由で、
デザインをリッチにしてほしいときだけ、
やっぱりGeminiにやらせると、
いいデザインにしてくれるから。
でももしかしたら、
27:00
あ、ごめんね。僕は試してないんですけど、
SNSで見たときに、
モデルが発表されるたびに同じプロンプトで
LPサイト作ってもらうのを試してる人がいたんですよ。
はいはい、見たよ。
見た?あれ結構出来よかった気がしたけどね。
あ、うん。
結構なんかその4.7から変わったって言ってたよね。
えっとね、なんかねYouTubeでやってる人やね。
あ、YouTubeなんだあれ。
あ、そう。
なんならオーパス4.6より綺麗じゃんって思っちゃったよね。
昨日見たんだけど。
多分ね、俺すぐ出てくる。
あった。
マサオさん。
マサオAIじっくり解説っていうチャンネル。
あ、あれ?その人じゃないかも俺は。
その人知ってるからさ。
逆にその人だったら覚えてるかもしれない。
うんうん。
けど、そのマサオさんも試してた。
あ、ほんと。
その人的にはどうだった?
なんかデザイン上がったねみたいな感じでやってた。
あ、そうなんだ。
結構SVG作ったりとかもやらせてる人で。
けど結果的にはすごい良さそう。
僕見たのはね、しとっちゃさんっていう方のツイートで。
同じプロンプトで各LLMで静的サイト作ってもらうんですよ。
はいはいはいはい。
もう本当に時系列順に登場したモデルとそのモデルが生成したLPっていうのが並んでる。
あーこれか。
君2.5とかも結構良くてさ。
中華モデルのすごいなって思った。
はいはいはい。
あ、これか。生成して一覧でサイトにしてくれてるんだ。
そうそうそうそう。
これ結構ね。
このモデル全然気にしてなかったけど結構こういう感じに出力してくれるんだみたいな面白い気づきでやってくれて良かった。
うーん。
あーけどやっぱオパス4.6すごいね。
まあそうね。
自分的には意外とあれだなって思って最初。GLM結構良いなって。ちゃんとやってるなって思って。
うんちゃんとやってる。てか全部ちゃんとやってるんよね前提として。
前提ね。
最近のモデルは全部ちゃんとしてるから。
GLM5結構すごくない?
まあでもあれかな。
30:01
いや結構すごいすごいすごい。
まあ今日GLM5の方が良いかもしんないね。
まあどっちの方が良いんだろう。ちょっとわからんな。正直わからんわ。
なんかちょっとこれ。
個人的には今GLM4.6すごいなって思ったけど。
本当に?これリンク貼って皆さん見てもらいましょう。
みんな見て欲しいですね。ちょっと聞かせて欲しい。どれが一番良いと思うか。
趣味の世界に入ってる気がする。どれが良いかみたいな。
見た目の良さの好みの話になる。
そうそう好みの話になってたね。
じゃあちょっとそんな感じでGLM5の話でした。
じゃあ今日もありがとうございました。
ありがとうございました。
本日もAI駆動開発部の日常をお聞きいただきありがとうございました。いかがでしたでしょうか。
本日は最近出たGLM5ですね。かなり期待していたモデルだったんですけれども。
その使ってみた感想というところで、少しでも参考になれば幸いです。
こんな感じでいつもいろんなトピック取り扱っているので、
こういったツールとか試して欲しいとかあれば、ぜひお便りいただけますと幸いです。
このポッドキャスト気に入ってくださった方は、いいねやフォロー、高評価ぜひよろしくお願いいたします。
それではまた次回もお楽しみください。バイバイ。
