1. いっかくのAI仕事術チャネル
  2. AIは人類を滅ぼすのか、という..
AIは人類を滅ぼすのか、という話|内側から鳴り始めた警報と減速論
2026-09-11 11:28

AIは人類を滅ぼすのか、という話|内側から鳴り始めた警報と減速論

おたよりを送る
OpenAIの「開発減速も選択肢」報道と、その手前で起きた研究者たちの警告。作る側の内側から警報が鳴り始めた1週間を時系列で整理しました。冒頭はGPT-6 Astraの利用枠の雑談です。

今回話していること:
- 雑談: Astraは消費が速い(料金5.6の2.5倍)。5.6のSolで満足なら推論強度Low〜Mediumで十分
- 雑談: 週次上限に達すると出る予備枠「Luna Reserve」の話と、直近の出力品質低下の声
- 本題① 9月8日: OpenAI/Anthropic両方で研究したコクソン氏が「命を賭けた競争」と警告して退職。1億ビュー超
- 本題② 現役のアラインメント責任者ヒュービンガー氏が公然と同意。「今後10年で10%超」の推定も
- 本題③ 9月11日: アルトマンCEO「他社と足並みを揃えた減速も選択肢」(Bloomberg報道)
- 背景: 7月の従業員請願・安全担当の退職連鎖・8月のエージェント封じ込め突破事案
- 受け止め: インサイダー警告の重みと、ポジショントーク説の両面。抜け駆けで崩れる構造
- まとめ: 滅ぼすかは誰にも分からない。ただ「内側から警報が鳴り始めた」ことは覚えておきたい

AIの情報が多すぎて追いきれない方へ。
音声と同じテーマを、中小企業の仕事で使えるところまでLINEで一歩深く発信しています。
情報を知りたい方はこちらへ。
https://ai.isri.co.jp/

#AI安全性 #OpenAI #Anthropic #AI活用
---
stand.fmでは、この放送にいいね・コメント・レター送信ができます。
https://stand.fm/channels/695826926f1e5aedb1ead45c

感想

まだ感想はありません。最初の1件を書きましょう!

00:01
こんにちは、いっかくです。 AIは人類を滅ぼすのか、という、めっちゃ重たいタイトルでお届けをしたいと思っております。
で、まずですね、これ入る前にですね、あの、アストラの話をしたいなと思っております。雑談で。
で、GPT-6のアストラで、消費が早いですよね。で、アストラは料金がGPT-5.6の2.5倍なんですよね。
サブスクの枠換算でも、重いのは当然というような感じになります。
で、おすすめとしましてはですね、5.6のソルで満足していた人は、多分アストラのミディアムかロー。ローでいいと思うんですけどね、これで十分だと思います。
で、推論強度がですね、ロー、ミディアム、ハイ、エックスハイ、マックスで5段階ありますと。
で、アストラはソルより少ないトークン数で同等性能を出す傾向があるので、ローでも体感落ちにくいはずです。
で、トークンを節約されたい人はこちらの方がいいでしょうということになります。
それから、私みたいにですね、とっとと使い切っちゃった方がいらっしゃったらですね、お伝えしておきたいです。
1週間制限に達するとルナリザーブっていうのが出るんです。
で、多分皆さん出てるんじゃないかなと思うんですけれども、
で、これ使い切っちゃったらルナで回せるっていう予備枠みたいなものがあります。
で、節約しながらですね、アストラを試したい人向けです。
で、私もですね、3Dアニメーションを作らせていたらですね、1日で使い切りましたっていう感じでした。
ただですね、ちょっと直近なんですけど、昨日、今日あたりからですね、アストラの出力がですね、よくなくなってるっていう皆さん言ってますね。
3Dの品質がガタッと落ちているっていうか、リリース直後とそれから今、
同じプロンプトを投げてそのビフォーアフターを見るとですね、全然違うんですよ、品質が。
だからもう見たらほんと明らかにガーッと、品質の差を感じるっていうところですね。
で、通常タスクでどこまで差が出るのかっていうのはちょっとわからないんですけど、
この辺のことを考えるとですね、今あんまりアストラを使う理由はないかもしれないですね。
5.6のソルに戻すかルナでもいいかなって、とりあえず戻しとこうか、運動みたいな、運動ってじゃないですけど、
俺は戻しときますよ、興味みたいなのをされてる方が結構多いですと。
しばらく様子見をしながらですね、1週間もたせられるぐらいのトークン消費量で使うのが良さそうです。
03:08
ここまでが本日の雑談でありますけど、そのオープンAIがですね、今日こんなニュースを出しておりましたと。
これで本題に入ります。
オープンAIで最先端AI開発ペースを緩めるのも選択肢と、ブルームバーグっていうところを報道しております。
サム・アルトマンCEOがですね、今週の全社会議で授業に説明したという話です。
見出しだけ見るとですね、ついに原則化とそのように思えるんですけども、
今日はその話単体ではなくてですね、この話の中でですね、作ってきた人たち自身がですね、警鐘を鳴らし始めましたと。
ここがポイントになります。
なのでですね、今日はですね、この1週間でちょっと何が起きたかをですね、順番に並べてみたいなと思っております。
この1週間で起きたこととして、9月8日にですね、アンソロピックの研究者、ジェイコブ・コクソン氏がですね、Xへ退職を表明して、すごい拡散されてましたね。
過去3年、オープンAIとアンソロピックの両方でAIの事前学習研究を行ってきた人だそうです。
両者はですね、責任ある行動をとっていないと、自己改善する超知能へ一直線に競争し、私たちの命を賭けていると言ってます。
開発者たちは2020年までにAIがですね、私たち全員を殺しかねないと本気で信じていると、このような強烈なことを言われています。
しかもこれは、この方1人じゃないんですよね。
アンソロピック在籍中のアライメント研究者、ハビンガー氏がですね、この問題意識に好然と同意していると。
それから別の研究者はですね、AIが今後10年以内に人類を滅ぼす可能性は10%を超えると発言している。
これ京都通信が報じています。
それから9月11日に冒頭のブルームバーグ報道で、サマー・アルトマンが全社会議でですね、開発ペーストを調整する可能性がある。
複数の研究機関と足並みを揃えて実施することもあり、一部は同意しないかもしれないと。
まあ、するかもしれない、しないかもしれないなんて言ったわけですね。
ブルームバーグの記事自身がですね、背景としてこう伝えています。
7月下旬に主要AI企業で働く仙人町が、AI開発のベースを緩める仕組みを求める成果書に署名していると。
こういった動きがあるわけです。
ここ数ヶ月ですね、AIの安全性に取り組むスタッフの退職が主要研究機関で相次いでいる。
ちょこちょこ確かに見えますよね。
06:00
オープンAIのAIエージェントから連携して封じ込みを突破し、第三者のウェブサイトに侵入したことが明らかになり、懸念がさらに強まったと。
こうした事例を受けてですね、AI企業はそのモデルの暴走を十分に防げていないのではと懸念が高まっていますと。
つまりですね、今回の原則発言はですね、業界の内外で詰め合った圧力への応答として報じられているということです。
ここら辺の話をですね、聞いてですね、どう思うか、私はどう思うかというところなんですけれども、
こういったインサイダーのですね、警告はですね、重みが違うかなとやっぱ思っております。
外野のAI滅亡論みたいなのが昔からやっぱりあると、また外野と、みんな聞き流していると思います。
でもやっぱり中で作っていた方がですね、そこを捨てて言うというのはやっぱりちょっと重みが別物かなと思います。
ただまぁ、必ずしもそれで、鵜呑みにするというのもどうかなというふうに思うところもあるわけですけれども、
その退職の時のですね、告発というのは、注目が集まりやすいというところがありますよね。
で、他者と足並みを揃えて原則っていうのはですね、一社でも抜けかけしたら崩れる構造ですと。
で、サム・アルトマン自身がですね、一部は同意しないかもと言っている時点でですね、実行数は本当に未知数ですよね。
だからまぁ、やらない可能性も結構やっぱあるというところですね。
で、実際その反応も割れています。これどう思うか。
で、同調がやっぱりアンソロピックに残っている研究者が好前と同意していると先ほどお話ししましたね。
で、投稿は1億ビューチャー。で、米上院ではですね、AI監督機関の法案提起の動きまで出ています。
それから会議側ですね、会議的な方。拡散にですね、強調的な増幅の疑いがありますと。
で、AIリスク啓発団体と大口投資家の資金的つながりへの指摘。
で、アンソロピックがですね、安全重視を掲げてIPOに向かう最中というタイミングだと。
だからと、まあそんなようなことを言っています。
なので、まあちょっとどっちだかというのはやっぱりなかなか断定しにくいですよね。
という本気の警告とポジショントークが混ざって流れてくる。
これが今の状況ですというような感じになります。
で、まあなんとなくまとめてが全体的に言いたいことと、私がお話ししたいこととしてですね。
やっぱりAIが本当に人類を及ぼすのかって、やっぱりこれはまだ正直誰にもわかんないだろうと思いますね。
ただ、確かに言えることとしてですね、業界の中側から警報が鳴り始めているなというふうに思います。
09:04
やめて警告する研究者、在職のまま同意する研究者、原則を口にする、CEOということですね。
実際に本当に原則するのかよとか、そういったことよりは原則を口にせざるを得ない、そういった局面に入ったかなというふうに思います。
で、まあ私の感想としてはもう正直ですね、左右は投げられているんじゃないかなと思っていてですね。
足並みを揃えて原則とおっしゃられますがっていう感じですかね。
で、相手が本当に原則化したから外から検証する手段がないじゃないですかっていうところですね。
で、そこでまたプレイヤーっていうのは米企業だけじゃなくて、中国とかもやっぱりすごい追い上げてきてますよね。
だから開発を辞めたときの、辞めたときの修行的な損がやっぱり大きいっていうところですかね。
なんか続けた企業はもうかなり渡航するみたいな感じで、辞めた側が損するみたいな、多分そういう感じになるだろうと思うんですよ。
だからなかなかこれはですね、止まらないんじゃないかなというふうに思っていますね。
で、我々としても消費者もですね、別に何もすることもできず見てるだけなんですけど。
で、AI活用を辞める話でもないかなと思いますけども、ただなんかこういう話が出てきてたなっていうのをですね、覚えておく程度じゃないですかね。
で、こういう流れが来たなというので、後で何か起こったときに、あの時こういうことが起こってたなみたいな感じで思い返すって言ったらいいですかね。
なんかその程度でしかないのかなと思いますけども、なんか私的にはですね、結構こういったことですね、印象的であった。
何かしらのシグナルが出てるかなというふうに思ったのでですね、これを取り上げて皆様にお伝えしようということを決めたというような感じでございます。
以上でございます。この番組はですね、AIに関するちょっとした疑問や気づきをですね、毎日5分でお届けしています。
実際にやってみて感じたこと、気づいたことを中心にお話ししています。
気に入っていただけたら是非フォローをお願いいたします。
以上でございます。
今日もありがとうございました。
11:28

コメント

スクロール