AIと思考力低下をめぐる研究
しぶちょー
よく言われるAIを使うと思考能力落ちるよねみたいなこれは
一応論文になってるんだよね
かねりん
信用性が高い
しぶちょー
Your Brain on ChatGPTあなたの頭の中に
ChatGPT入っちゃってますよみたいな置き換わっちゃってますよみたいな
かねりん
論文層ねえよって
54人・3条件の研究方法と拡散した結論
しぶちょー
これはね論文を執筆させたんだよね54人ぐらいを
18歳から39歳ぐらいまでの54人を3つのグループに分けて論文を執筆させますと
一人はChatGPT使っていいよと一人は検索エンジン使っていいよと
もう一人は道具なしですよみたいなちょっと文章書いてって書かせた時の
ノウハウを測定した結果やっぱそのChatGPTの使った方がやっぱ脳の
信号みたいなやつとか結びつきネットワークがすごく弱くて
かねりん
なるほど
しぶちょー
自分が書いた文章ChatGPTを使いながらも自分が書いた文章なんだけど
自分の書いた文章覚えてない
かねりん
覚えてない
しぶちょー
覚えてないし自分が書いた文章を引用してなんか言うこともできなかったみたいな
かねりん
ChatGPTを使いながら書いた覚えなさそうだな
しぶちょー
だからアウトプットしてるようで自分の頭で考えてないよねみたいな
これを認知的不責という風になんか名付けたらしくて認知的不責だから借金したように
無くした分借金みたいな感じでなんか脳なんか頭悪くなるよねみたいな負債?
負債認知的負債としていう風に名付けたよみたいなこういう話があってですね
これはあくまでも査読付きというかこういうことやりましたよみたいな
簡単な論文みたいな感じなんだけど
すごくSNSで取り出されてChatGPTを使うと頭が悪くなるんだみたいな
かねりん
驚きやすいな
しぶちょー
すげえ驚きやすいからさめっちゃバズったんだよこれ
なんだけど結局なんかこれもう頭がAIを使うと頭が悪くなるよ考えなくなるよっていう
そういう単純な結論じゃないよそもそも54人に対してしかやってないから
研究者がちょっとあまり騒がないでねっていう風に出したみたいな
かねりん
なるほどね
論文の査読・掲載・引用をどう見るか
しぶちょー
いわゆるその査読ついてないから放っておくとまずいよねみたいな
かねりん
論文ってなんかグレードがいっぱいあるんでしょ
しぶちょー
グレードがいっぱいある
かねりん
査読つきのやつとなんかいろいろさでこれなんか別に論文って言うとなんかさ一般人はさ
うわもう確定した事実だって思っちゃうけど
しぶちょー
そうそうそう論文って言うともうなんかそれだけで権威があるって感じなんだけど
かねりん
誰でも出せるんでしょ
しぶちょー
誰でも出せるやつもあるし
査読っていっていろんな教授とかが読んでこれオッケーですねみたいな
出さなきゃいけないその査読を通るのがすごい大変らしくて
俺もあんまり書いたことないからわかんないんだけど
かねりん
同じ状況を再現できなかったらダメみたいななんかあるでしょ
しぶちょー
そうだねいろんな視点があるみたいな
なんかね俺が聞いたのはいろんな教授に見てもらって
オッケーだよねって言ってもらえればオッケーって感じかな
かねりん
なんか有名なネイチャーとかそういう雑誌に掲載されると権威あるみたいな
しぶちょー
そう 査読通ってそうだね掲載されるっていう感じなのかな
かねりん
それはなんかレベル上がるんだよね
しぶちょー
そうでインパクトファクターって言って引用されたらすごくいいよねみたいな
ブラックペアンだブラックペアン
かねりん
なんか医療系のドラマでよく出てくるはずのインパクトファクター
しぶちょー
そうなんか引用されてる論文って偉いよねっていうやっぱ評価指標なんだよね
いろんな論文を引用して研究するけど引用が多ければ多いほど
やっぱその研究の影響多いよねみたいな
かねりん
なるほどねまだそんな真っさらの雑魚論文でピッて出てきたってことだよね
しぶちょー
そうだね査読を取るのがすごく難しくらしくて
うちの会社でも博士課程に行ってた先輩とか
行ってさ博士取るだけどやっぱり査読付き論文を何本出して
論文掲載もして学会発表もしてみたいな
その博士になるための条件みたいなやつがあるのよ
その査読付き論文をね何本出さなきゃいけないみたいなやつがあって
それがめっちゃ大変らしくて
かねりん
そうな結構大変なんだ
しぶちょー
半分政治みたいなのもあるらしいけどね
かねりん
へえ人間だね
しぶちょー
なかなか見てくれないけどそのちょっとトップダウンでついてもらうと
この教授の息がかかってる論文ですからみたいな
じゃあスクートしますみたいなあるとかないとか
かねりん
人間社会どこでも政治
しぶちょー
妄想の話かもしれないけど
かねりん
妄想か
しぶちょー
あるとかないとかあるらしいですけどね
かねりん
じゃあこれ全然大したあれな嘘ですか
しぶちょー
嘘というかそうねあんまりこう信じないでくださいねっていう風に
言ってるとこういうのが出回っちゃうと
もうなんかいろんな政策担当者がじゃあもうChatGPT禁止のなんか号令出そうみたいな
かねりん
そうだよね
しぶちょー
教育に使っちゃいけないよみたいな話になってきちゃうからそれは極端すぎるもんで
そういう先走りそうだからブレーキをこうなんかかける意味でもいろいろとやってると
やっぱり研究者としては見出しぼらないでねとか
読中ですよっていう風に一応発信はしてるんだけど論文SNSみたいな分かるでしょ
こういう論文発表されましたみたいなこんな聞き返したみたいなゆうちゃん
この論文はまだこういう状況でみたいなこと
かねりん
一時書かない
しぶちょー
論文です
かねりん
いかにインプレッション取るか
しぶちょー
論文って言っただけでまあそっかこれがじいさんだみたいなねなるから
かねりん
論文っていう言葉の威力すごいよな
しぶちょー
すごいよねそうそうそう
かねりん
1から100までレベル全部論文だもんね一般人から
しぶちょー
一般人からするとやっぱそのアカデミックな分野にいる人にとってはさ
そのそこの粒度ってめっちゃわかると思うんだけど我々にとって論文って言われて
あもう研究成果なんだみたいな
かねりん
本当それよ
しぶちょー
世界の真実なんだみたいな
かねりん
そうなんかブラックホール見つけましたみたいなそういうレベル
しぶちょー
論文もめっちゃ嘘あるもんね
かねりん
あるんだね
しぶちょー
めっちゃ嘘あるしなんかやっぱ疑ってかからないと
かねりん
悪意のある論文もあるってこと?
しぶちょー
悪意のある悪意かわかんないけどめっちゃ適当な論文はいっぱいあるよね
かねりん
嘘だけど出しちゃえばインプ取れるしみたいな
しぶちょー
嘘だけど出しちゃえばあると思う
かねりん
驚き屋さん論文みたいなやつ研究者驚き屋研究者みたいな
しぶちょー
でも俺も大学の時教授言っとったもんなんかこの研究室の論文全部信用しないでみたいな
自分のところじゃなくてここの大学のこの研究室の論文は嘘っぱちだわ
みたいなまた変なの出してるわほらみたいな
こんなんずっとやってないわみたいなそういう戦いを
適当に出しやがってみたいなこと言ってたから
かねりん
そんなレベルのが上がってくることがある
論文の信頼性をAIで確かめる
しぶちょー
それも全然ある
かねりん
それはじゃあGPTに聞けばいいんですかねこの論文の信憑性どうですかみたいな
しぶちょー
でもいいと思うよレベルは言ってくれると思うし俺も最近なんかね論文入れてこれ訳して
って言ったらこの論文はただしなんか査読がついてないので
こういうレベルの論文ですみたいなこと言ってきたちゃんと教えてくれた
かねりん
いいですね論文もちょっと民主化されていくね
しぶちょー
何をもって論文とするか何でも論文論文って
かねりん
論文って何どっか学会で発表したら論文
しぶちょー
学会で
かねりん
論文って何をみたいな感じブログと何が違うのみたいなちょっと高級なブログみたいなさ
なんかPDFになったブログみたいな本を終わったとどめてねよくわかんねえんだよ
でも別に誰かがレビューした編集者が入ってるわけでもないってこと言うと
本より信憑性ないんじゃねえのみたいな
しぶちょー
本より信憑性ないやつも本も信憑性ないよ
かねりん
まあそうだけどまだ編集者の手が入ってんじゃん
しぶちょー
まあまあ出版社によりけりかな
かねりん
そいつが書いてそいつがそのまま出せる
しぶちょー
いや
かねりん
ノーチェック
しぶちょー
ノーチェックは無理でしょやっぱ大学の名前で出してるからさ
かねりん
一応大学の誰か見てるってこと
しぶちょー
見てるのか分かんないけど出し方によっては別にそのままボーンってね
アーカイブスであげれますよみたいなやつはあると思うし
これもあんまり正直書いたことないから分かりません
かねりん
ちょっと書いてみたいね論文
何かちょっと要はなんかさよく社会人博士課程みたいなのあるじゃん博士大学院みたいな
なんかさそれでなんか書いてる人いるじゃん俺らだったらなんだろうね
しぶちょー
別に趣味で書いてるわけじゃないあれは担当教員教授がいるよちゃんと
かねりん
いるんだけどなんかちょっとアカデミックなことになんないかしらこれなんかね
人の声と心の関連についてみたいな
しぶちょー
ポッドキャストの研究してる子がいたよ
かねりん
いいねいいね
しぶちょー
ポッドキャストの研究してる子いてなんか一回協力したよインタビュー
かねりん
それ論文書いたのかな
しぶちょー
卒論で書くって言ったね
かねりん
そういうのも上がってくるってこと論文で上がってくると思う
しぶちょー
アンケート結果の一人だから何十人のポッドキャスターの一人として
データとしてね俺がそこに介在していると思うけど
30分くらいヒアリングさせてくださいみたいな
標本の偏りと反証から読む
しぶちょー
一回ポッドキャスターとして話した気がする
かねりん
大量の人間のデータが取れたら何かしら研究になるよねって思ったり
しぶちょー
だけど大量ってどのくらいなのとか
じゃあその数字の信憑性は何みたいなところからやっぱちゃんとやっていかないといけなくて
それはやっぱ統計学に基づいた数字が必要だよねっていう
それをサンプリングも重要やんねじゃあこの人たちのこの集団から取りますよみたいな
母集団って言うんだけどさゴッて取ってきたときにこの母集団が本当に
バイアスが含まれてないかっていう評価も必要だし
結構誰でも集めりゃいいってもんじゃないよねみたいな
自分の身の回りを集めていっぱい聞いてもさやっぱそこに偏りがあるよね
かねりん
こんなおちつきAIリスナーなんかにしたらもう偏りしかない
しぶちょー
おちつきAIにリスナーを対象として何かアンケートを取ってもやっぱ偏りだよ
すごい偏ってると思うよ
そのなんか純粋なその特性を代表するような母集団を取れるかどうかっていうのが結構重要なんだけど
かねりん
なるほどね
しぶちょー
研究ってそこを結構ツッコミ入れるよねだからこの母集団の取り方だめだじゃんみたいな
かねりん
最初からバイアスかかってんじゃんみたいな
しぶちょー
そうそうそうっていうので結構反論みたいなことをやっていくパターンがよくあるかな
かねりん
なんかちょっと楽しそうだねそういう論文の世界もね
しぶちょー
いや楽しそう
かねりん
反論とかしたいわ俺
しぶちょー
あそうなんかひたすら反論してくって言ってたよなんかだから
かねりん
ポイントになるのその反論も
しぶちょー
いやなんかそういう読み方をするって言ってた論文を
かねりん
読み方としてそうなんだね
しぶちょー
そう反証を前提で読んでいくなんて言ったかななんかこのような教えてもらったら
ボイシーでコラボした人に教えてもらったんだよな
こういう読み方をします名前忘れちゃったけど
驚きに流されない読み方
しぶちょー
その人の名前じゃなくてその方法の名前忘れちゃったんだけどとにかく論文を読むときは
どこに突っ込みどころがあるかっていう視点でまず読みます
かねりん
重箱の隅つつき屋さんだ性格悪くなりそうだねやっぱねそういう風に
しぶちょー
突っ込んでいくことによって本当にこれは信じていいのかどうかを見ていくみたいな
かねりん
刑事にでもなったら
しぶちょー
ここが不十分じゃないかみたいな
かねりん
人を疑って
しぶちょー
それ刑事の仕事
かねりん
刑事の仕事です全てを疑う被害者も疑うみたいな
しぶちょー
でもある種落ち着きのために必要な視点だと思うよ俺はそれ
かねりん
どういうことどういうことですか
しぶちょー
驚き屋さんに対してさわーすごいわーって驚かされるんじゃなくて
本当かおいあーっていうさ
かねりん
そうだね落ち着きおちつきAIのMCとしてはもう必須の素養です
しぶちょー
必須のスキルやっぱ
かねりん
それなかったらもうダメです
しぶちょー
それなかったら一緒に驚いてるだけでわーすごいよーって
