ChatGPTアプリとCodexの連携機能
iPadの言葉から始まります。 iPad Onlyなポッドキャスト、iPad Workersポッドキャスト。
今日は、ChatGPTアプリでCodexが動かせるようになったよ。
アプリでCodexが動かせる。
最近のアップデートで、iPhoneとかiPadのChatGPTアプリにCodexのメニューが追加されて、
そこを押して、パソコンでCodexを開いて、iPhoneとかiPadのアプリでCodex連携みたいなボタンを押すと、
承認みたいなのが始まって、ログインすると承認が取れて、連携OKみたいな状態で、
パソコンのCodexアプリとアプリがつながる状態。
よく言われる言い方で言うと、iPhone、iPadからMacのCodexアプリが動かせるというイメージ。
イメージというか事実。
事実。
前は、なんとかアンチグラビティをiPhoneとかiPadから動かしたいって言って、
頑張らんでよくなった。
Astro Workbenchとか、リモート系のアプリを使って、これやったらできるやんって言って。
流石にラグが大きいっていうか、もったいないよね。いろんなところ。
だったのが、ChatGPTのオフィシャル機能というか、公式機能でCodexが遠隔操作ができるようになった。
これは同じWi-Fiかとかじゃなくて、外からでも全然監視しながら操作っていうか、
普通にアプリでCodexのボタンを押すと、Codex側のチャット欄と同じのが表示されて、
普通に文字入力もできるし、操作してもらっている状況みたいなのもリアルタイムで反映されていくし、
できた生成物、例えばファイルを作れとか書き換えてとか言ったら、変更リレーとかもアプリで見れる。
よく考えてみたら、言ったら、そもそもMacが常にクラウドと通信していて、
そのデータを読み書きしているんやから、それをiPhoneから盗み見るという言い方は悪いけど、
プレビューできるようになるとかって、原理だけで言えば別に難しい感じはせんもんね。
大平 多分、どこの生成AI系会社も出してて、確かクラウドコードも出たよね。
寺田 クラウドコードは結構違う。同じようなことはできるけど、そこまで密に連携させていない感じ。
大平 今回、ChatGPTのCodex連携っていうのは、割とアプリの中に結構自然に入っているって感じで。
寺田 全部そのまま使える感じだよね。同じ感じで完全に。
大平 アプリも追加でアプリも入れなくてもいいし、ChatGPTアプリのサイドバーっていうのかな、
モバイルからの操作と利便性
メニューからCodexを選べばOKで、一回連携をしていれば、その後はCodexのとこ開くと、
今パソコンでアクティブなやつっていうのが履歴みたいなやつで出てくるから、
その中から選んで様子を見たりとか、追加で承認とかが必要だったら承認ボタンを押したりとか。
セキュリティーというか、勝手に悪いことしないように、一応止まってくれる。
寺田 最近でもCodexもクラウドもオートモードっていうので、フルアクセスじゃなくて、
やべえことはやらん全自動がだいぶ主流になってきている感じがするよ。
大平 多分設定云々でいろいろ変えれると思うんだけど、その中で止まったときに、
これやるけど大丈夫ですかっていうメッセージが出て、承認するとか、これはやらせないとか、
今後もう効かないで、ここに関しては効かないでいいよみたいなボタンが出てくる。
それをアプリ側から押せるの。今までってそういうのバックグラウンドでバーって走らせておいて、
止まってるの見つけたら、手動でポチポチ押してたんだよな、パソコンで開いた時間が。
寺田 見たいことは分かる。
大平 でもこれだとCodexのアプリっていうか、チャットGPTアプリからちょっと様子見て、
終わってるわっていうので、次行けたりとか、あと承認ボタン押したりとかができるようになったので、
この間は自分の仕事部屋から離れ、ミシンしながら。
寺田 ポチポチ押しながらミシンをして、ながらAIだよね。
大平 ながらAIしてた。
Codexのアプリ版っていうか、MacでもMacBook AirとかMacBook Proとか、
パソコンにマイクがついてるやつなら音声で入力するってめっちゃ簡単にできると思うんだけど、
うち今自分が使っている仕事部屋のパソコンっていうのがMac miniで、
Mac miniには標準ではマイクがついてないので、外付けのマイクをつけないといけない。
寺田 めんどくさいんだよね、いろんなことが。
大平 つければいいんだけど、USBの。
寺田 分かる、めんどくさい。
大平 一つはそれでUSBの穴が一個取られるみたいな。
寺田 Mac miniは少ないしね。
大平 とかいろんな問題があって、今の今で言ったら繋いでるんだけど、
なんかやっぱ反応遅いのよね。音声入力オンにしてからポポーンって打って。
寺田 アイフォンがやっぱり早いし優秀だよね、よくわからんけど。
大平 アイフォンとiPadの音声入力を認識するモードへの切り替えみたいなのがめっちゃ早くて、
はるなさんの希望としては、iPad、iPhoneで音声入力をしたいって感じなのね。
寺田 ができた。
AIエージェントの使い分け
大平 そう、それが出た。この間はリモートアプリみたいな別のアプリを入れて、
リモートマウスみたいなアプリを入れると、iPhoneとかiPadをコントローラーというかね、
トラックパッドとかそういうのの代わり、マウスの代わりに使えます。
キーボードも使えるから音声入力も使えますみたいなアプリを使ってちょっとやってみたりとかもしたんだけど、
あんまり安定してなくて、結局優先でUSBマイクをMac miniにつなげてやるっていう風にしてたんだけど、
今回このChatGPTアプリの中にコデックスが操作できるチャット欄も出てくる。
そこで文字も入力できるっていうことで、そこのチャット、iPad側からポチッと押して、
2種類ある。iPhone、iPadのiOS側の音声入力を使って入力する方法と、
ChatGPTアプリの音声モードでやる。どっちも使える。
どっちも試したけど、どっちもそれなりの精度、同じぐらいで精度は良かった。
同じぐらいならiPhoneのやつを使った方が節約できそうな気がするね。
どうだろうね、その辺。
確かiPhoneはローカル処理今はしていたはず。
個人的な好き嫌いで言うと、しゃべったやつがリアルタイムで文字で見えてくるのが、
iOSのiPadOSの標準の音声入力モード。
で、ChatGPTとかの音声モードだと、なんか録音ボタンみたいな。
ああ、あのシステム。だから後AI処理だよね。
そう、文字起こし処理で、しゃべってる最中は何て入ってるかが見えなくて、
最後すごいギュッて多分圧縮された状態でテキストに入ってる。
そこに必ず処理が入ってる。
あんまり好きじゃなくて、別口として対話モードっていうの。
ただ喋るやつやんね。
なんか青いボンボンが出る。
ボンボンが出るやつ。
iPadOSとかは普通にそのままボタンを押さずに会話が出てるから好きなんだけど、
そうじゃなくて、なんかそのチャット欄にあるマウス、マイクボタンみたいなアイコンみたいな。
オープンAIの文字入力だよね。
音声モードみたいなやつかな。ちょっと名称わかんない。
それもどっちも試したら、どっちもそれなりに使えたけど、
個人的な好みで言うと、
iPadの普通の標準機能の文字入力、音声入力を使ったものがやっぱり相性が良くて好きで、
マイクボタンピッて、キーボード上のマイクボタンを押して喋って、
で、Enterを押すか紙飛行機マークみたいなやつを押すと、
チャットが送信されて、コデックスが動くみたい。
その仕組みがすごい楽だった。
自分がやりたかったことがそれだったの。
ついに、再びはるながパソコンいらん生活が戻ってくるかもしれないぐらいじゃない。
でも動いてるのはパソコンだよ。
パソコンをヘッドレスコンピューターっていうのかな。
もうパソコンは存在しているし、使っているけれども、
インターフェイスとしてのmacOSが必要なくなるっていうか。
物によりけりではあるかな。
広い画面がやっぱり欲しい作業の時もあるし。
極論、広い画面、iPadを画面につなぐっていうやり方もできるから、
ほとんど進歩してないけど。
外部ディスプレイをつなぐね、iPadに。
っていう特殊な用途っていうか、別にそこまで無理する必要はないんだけど、もちろん。
再び100%にする必要はないけど、ほとんどの部分でコンピューターがなくてもなんとかなる。
しかも少なくともiOSよりmacOSのほうがだいたいの場合、
コンピューター資源は潤沢や、処理も早くなったり、いいことが多い。
それが少なくともコデックスである程度実現できたら、だいぶ変わるかもしれない。
最近コデックス評価が割と上がってきてて、
ちょっと前まではクラウドコードがすごいみたいな感じで盛り上がっていたのが。
5.4出た時も5.5出た時も、コデックス良い評価がよくされているよ。
自分の見ている範囲で。
クラウドコードはクラウドコードで、目的によってはすごい良いんだけど、
トークンの料金的なところでちょっと割高いのと、
イメージ5倍するんじゃない?
あと最近ちょっとアホになってきたらしくて。
アホになっていたことを認めたという歴史がちょっと前に4月にあった。
そういうのもいろいろ含めて、
コデックスの方が今いいじゃん!みたいなブームみたいなのがあって、
それに乗っかってみようと思って、今まで全然コデックス使ってなかったんだけど、
コデックスを使い始めたのがちょっと前1,2週間?
いやもうちょっとか。5月入ってからぐらい。
自分の主観的な最近の感想で言うと、
コデックスの方が賢い、クラウドの方が仕組みがいいって感じ。
直感的に使うだけだったら多分コデックスの方が早くて安くていい。
バリバリにカスタマイズして、やっぱりいろんなこだわったことをやりたいってなると、
自分が認知している範囲ではやっぱりクラウドコードの方が自由にできることが多い。
もっとやろうと思えば多分オープンクラウドとかになってくるって感じ。
その辺りで本当に日々いろんな機能を追加されるし、移り変わっていくし。
たまたま今回自分が使い始めてちょっとしたタイミングで
アプリにコデックスを操作できる連携機能っていうのが入って、
すごいタイミング的には良くて、今使ってるっていう感じ。
自律型AIとモバイル連携の未来
パソコン側にも設定があって、スリープさせないモードみたいなのがある。
コデックスを。そうすると結局24時間稼働。
パソコン的には結構負荷になる気がするけど。
しばやん オレたちは月場でディスプレイだけスリープにしてるよ。
大平 あ、じゃあ後ろは全部生きてるの?
しばやん うん。そのクラウドコードが夜中に動く。
大平 そうなんや。
しばやん コデックスのスケジュールあるからさ、回せる。
自分の場合は今までそれを使ってなかったから、
スケジュール系のやつはGoogleのやつを使ってたのかな?
しばやん Geminiの何か機能やった?
大平 GeminiのWeb版のアプリのほうだと、
時間指定で動かすっていうのができるから、そっちを使ってやっていて。
クラウドじゃない、私はクラウドを使っていないので、
チャットGPT系かGemini系をメインで使うっていう感じ。
今もまだまだアンチグラビティはずっと併用していて、
コーデックスとアンチグラビティで今、2大エージェント。
しばやん 春、アンチグラビティが好きな一番の理由が、
ファイルがドラッグドロップで投げれることやった。
大平 そうそうそう。チャット欄にファイル…
しばやん エクスプローラ的なサイドバーから投げれるからいいんやね。
大平 そう。で、なんかチャットにここだよみたいな、
このファイルのここだよみたいなのを指定するのがコーデックスでもできるんよね。
なんかステージテープとプレビューして。
しばやん 基本的に全部できる。
大平 できる。ただ、エディットができないのに、
そのプレビュー画面、あくまでその編集したファイルの。
しばやん あー、はいはい。だからエディターとあれが同時に見えるのが基本好きなわけね。
大平 そう、基本好きなの。だからObsidianとかアンチグラビティとかが好きなの。
しばやん 俺Obsidianとクロードコードでやっている。そういう感じのことをずっと。
大平 あー、そうそう。で、その編集しながらここはこうだよっていうのを伝えるのに、
アンチグラビティだと同時に全部できる。
しばやん ドラッグドロップで反映してできたりとか、そういうことなくなってるよね。
大平 ファイル自体をポイポイってチャット欄に彫り込むのも、
ファイルエクスプローラみたいなのが出てるから、それでいけるし。
しばやん エージェントモードじゃなくて、
前の元々の最初に始まった頃のカーソルだったり、VS Codeだったりの
あのビューが好きだってことだよね。
大平 そう、あのビューが好きみたい。なんかやってるうちに。
で、もちろんそれぞれいいとこ悪いとこっていうのがあるから、
それを使い分けた結果、今はアンチグラビティとコーデックスと
Obsidianが立ち上がった状態のMacでお仕事をしている。
しばやん コーデックスとアンチグラビティは何となく境目はある。
大平 これはちょっとコーデックスに任した方が良さそうっていうものは、
新しいことをさせるときはコーデックス。
しばやん 定型作業をアンチグラビティに回させる。
大平 そう、もうワークフローが出来上がってて、もうPythonプログラムとかも
なんかもういっぱい入ってて、もうそれを回すだけっていうかさ、
順番に実行していく。
しばやん やっぱ安く早く使うのがアンチグラビティだよ。
大平 そう、全部出てくるっていうようなレポートの作成だったりとか、
ログの記録とか、そういったものは割とアンチグラビティの方でやらせる。
それのフィードバックっていうかさ、動かしたら、自動で動かしたら、
なんかちょっと自分の思った成果物とは違うものが出てあがって、
これはこうしたいっていうフィードバックは、
アンチグラビティでもちろんできるんだけど、
ちょっとアンチグラビティのモデルとかそういうのの関係上、
あんまり賢くないと。
なんかね、すぐね、わかった、やるねとかって結構
しばやん 真っ先に一番ダメなことやる
大平 早がてんして、空回りしてる感があって、
もちろんね、モデル、いいやつ使えばいいんだけど、
自分が基本Flashしか動かしてないので、
なので、コーデックスの方で修正、
ワークフローの修正とかはコーデックスの方で。
廣瀬 今日は久しぶりにアンチグラビティ使ったら、
地味にプロなんやけど、まず真っ先にファイルリムーブして止めて、
すいません、消してしまったので戻してくださいって言われて、
まず計画を立てろっていうのに真っ先に消してくるっていう。
大平 なんかちょっと憎めないおばかちゃんみたいな。
廣瀬 はるなはかわいいと思えるんや。
最近もう耐えられんくなったやっぱ。
大平 その辺、性格性というかタイプが結構違うから、
やらせる作業によって振り分けれるのが一番ベストかなと。
廣瀬 早く終わる度合いで言うと、やっぱGemini Flashはめちゃくちゃ早いよね。
大平 めっちゃ早い。
廣瀬 なんかあれ、レジェントじゃねえよねっていう速度で動くよね。
大平 コーデックス遅い。
廣瀬 苦労度もっと遅い。
大平 と思うっていう感じで、最近、
ChatGPTのiPhone、iPadのアプリからデスクトップ版のコーデックスっていうアプリを
動かせるようになって、ちょっとやり方、仕事の進め方みたいなのが変わってきたよっていうお話でした。
番組への感想やリクエストなどは、
Sharp iPad Workersのハッシュタグをつけて投稿してください。
それではまた来週。
iPad Workers Podcastでした。
