AIによる天文の進化
データアナリストのりょっちです。 データサイエンティストのたっちゃんです。
天文科系AIのお話をしていきましょう。 得意部屋ですよ。ということで、
いや結構ね、これ宇宙話でも紹介して、 そっちでめちゃめちゃ反応良かったんだけど、
AIの部分の深掘りも含めて、もうちょっとしたいから こっちでも話すっていう、そんな感じ。
宇宙話の人たちも聞いてくれてる可能性があると。 あ、そうそうそうそう。で、あっちは宇宙の方の技術とかを深掘りしたいところだけど、
ここだったら、同じ天文の研究室でもあるし、お互い。 そうだね。 で、AIの話もできるというので、
ちょっと深めに話せるんじゃないかなっていう期待も込めて、 やっていきましょうと。
で、あのー、
簡単に言うと、 LLMを使って天体の分類ができるっていう話。
もうね、あんまりよくわかってない。 そうね。いやまぁちょっと一個ずつ喋っていくんだけど、
論文としてリリースされてて、めっちゃ面白いなっていうのがあって、 何かっていうと、
LLMのモデル、まあそのChatGPPEとかGeminiEとか、 なんかそういったのでを使われている。
技術に対して、なんて言うんだろうな。 天体って、
望遠鏡で天体を見たら光の点にしか見えないんだけど、 そいつらをデータにすると光が増減しているような、
まあ周期的な動きだったりとか、なんか例えば目の前を天体が通ったら、 ちょっと暗くなるとか、そういう高度曲線っていうのが天体からデータが取れて、それを
LLMのモデルに入れてあげたら、その光の高度の変化を見て、 その天体が何かを当てる能力が、まあ結構高いっていうような話が出てたっていう。
高度曲線久しぶりに聞いたな。 もう研究室いるときそんなんばっかりじゃん。
高度曲線、これなじみない人はあれかな。光の度合いの高度だよね。 そうそうそう。で、グラフにすると横軸が時間で縦軸が明るさ。
そうだね。 っていうので、波を打つように光の明るさが増減したりする、っていうようなところを捉えられる、
まあ天体から取れる情報の一つ、みたいな感じ。 英語でライトカーブだよね。そう、ライトカーブ。
で、なんか天体から取れる情報ってめっちゃあって、 光の変化もそうだし、その光の中にどんな波長の光が含まれているかみたいな、
っていうのを細かく見ていく話だったりとか、まあいろんな情報があって、 なんか天体を分類するときって、そのなんか光の変化だけでわかるものとわかんないものと
っていうのはまあ結構あるんだけど、 その光の変化だけでわかる範囲は、やっぱりAIに任せたほうが、任せても結構簡単に出せるよね。
そんな感じ。 っていうので、なんか俺らはすごい苦戦してたけど、時代も変わって天文学にAIを使うっていうのも、まあ結構
加熱してきてるよっていう。 そうだよね。うちらが研究してたのは6年前?7年前?
自分はそのぐらいかな? けど、まあその時は全然。で、なんか自然科学との相性の悪さみたいなのをさ、
Star Whisperの紹介
まざまざと痛感したわけじゃん、その当時。 そうだね。特に物理学でAI使って何か成果出ても、それって本当とかね。
そうそうそうそう。 難しかったよね。
っていうので、今回出てた論文っていうのがどんな感じかっていうと、その天体を検出、天体の種類を
高度曲線から明らかにするっていうのを目的にチューニングされたLLMのモデルっていうのができてるのね、今。
まあなんか、ああいうモデルって公開されてるものをチューニングできたりするじゃん、自分たち。
そのチューニングを、まあ高度曲線で言うとまあそうなんだけど、その時系列のデータとして処理する能力を上げた
LLMのモデルっていうのが、研究チームによって作られた。これがStar Whisperっていうソフトなんだけど。
Star Whisper? そう。
で、このStar Whisper、おもろいのが、その時系列のそのデータ、時間によって
光の強さが増減するみたいな、その流れを単純な時系列のデータとして読むっていうパターンと、音声情報に変換して読むっていうパターン。
はいはい。だからウィスパーなんだ。
え、そうなのかな?まあ多分そうなのかもしれない。
まあ波だから時間で変化する。波の情報だからそれを音声の波に変換してインプットデータとして入れるっていうパターンと、
あとはその高度の変化を画像として見るっていう、
その数字の変化、データで見るんじゃなくて、それがプロットされたグラフを画像として見るっていう3パターンを組み合わせたり、
それぞれ別々でインプットデータで入れたら、そいつを見て天体の種類を返してくれるように作られているLLMモデルなんだ。
なるほど。
そう。だから同じデータを違う見方をして検証ができるっていう。
はいはい。
なんかそもそもそういう手法って、なんか意味あるんだというのをまず思った。
あーなるほどね。でもなんだろうな、音声分類とか、そういう文脈でモデル、いいモデル作っていこうとしたら、
今のこういくつかのパターンで単純な音声を音量のボリュームだけで見るんじゃなくて、2次元の画像として見たりとか、
っていういくつかのこのデータの形を変えて、それぞれのモデルを作って、組み合わせて予測結果を出すっていう、
なんかこう言っちゃえば一つのアンサンブルみたいなことをするっていうのは、まあ手法としては結構筋のいい手法なのかなと。
あーなるほどね。
じゃあなんかどっちかっていうと、音声とかのデータ処理に慣れてる人がライトカーブを見て、
あ、音声処理のやり方に寄せていってもできるんじゃねって思った可能性の方が高いのか。
いや、今話を聞いてそうかなと思いましたね。
なるほどね。だから目新しく見えるのか。
で、それで検知できるようなLLMモデルができているっていう状態。
モデルの比較と精度
で、これがどれぐらいの精度があるのかっていうのを、結構シンプルなディープラーニングのモデルと比較したっていう論文が出てる。
で、そう、ディープラーニングの方は、単純なライトGBMと、トランスフォーマーを組み込んだ、久しぶりに聞くよこれ、コンブ1D。
懐かしいね。畳み込みね。
コンボリューショナルニューラルネットワークの2次元じゃなくて、時系列方向の1次元だけで撮るみたいな感じ。
と、LSTM。懐かしい、これも。
ちょっとチューニングされた、バイLSTMっていう、なんか、1方向で時系列見るんじゃなくて、一応なんか逆方向でも見ましょうみたいな、なんか、
そういうモデルとか、畳み込みニューラルネットワークとLSTMを組み合わせたモデルとか、そういうのが、いくつか時系列データに特化した真相学習モデルっていうのを、
ポポポポンって出してくれてる。それで、2万個ぐらいあるデータ群、
ケプラーっていう人口ですね。で、撮られたデータで、最終のサンプル数は、いや、もっとだったら44万7千。
多いね。 っていうような形。
で、取得されているものに対して、 学習に使ったりとか、
しながら、どっちが精度が出るかっていうのを試してみた。 っていうようなところで、簡単に言うと、スターウィスパーの精度がのきなみ
めちゃめちゃいい。 あ、そうなんだ。
音声変換したものの精度が93%、画像で撮ったものが95%、
で、時系列のデータとして撮ったものが89%って感じ。
まあ結構高くて。 で、一方でシンプルな深層学習のモデルでやると、
コンブ1Dと LSTM
を組み合わせたもので94%とか。 っていうような感じで、まあディープラーニングとかでやったものと
LLMでやったものっていうのが匹敵するぐらい。 もしくはものによって、他の
深層学習のものは90%とか80何%とかだから、
まあLLMでもディープラーニングを超えるような精度っていうのを出すことができてるっていうのが
まあ結果としては出てるのね。でこれどう解釈するかっていう話なんだけど、 まず1個そのこの場で一番話したかったことは
深層学習のモデルを作るときって 2個
注意しなきゃいけないところが1個はこれ特徴量をどうやって作るかっていう話 っていうのが重要になってくるわけじゃん
でそのインプットするデータの特徴量をちゃんとチューニングもしなきゃいけなくて
っていうので学習コストが結構かかるよね。 そうだね
まあ前処理とか大変だよね。 その一方であのLLMの方はまあ元々用意されているその
LLMのものに入れたらこれが出てくるっていうところで、しかもプラスLLMにぶち込んでるときにその特徴量の重み付けとかっていうのをしないで入れてるらしい。
そのチューニングするとき。 生のデータをインプットしてるってこと? そうそうそうだからこの両方で同じ結果が出たってなってるけど
特徴量のチューニングをがっつりしなきゃいけない方とそんなにしなくていい方っていうのでLLMとディープラーニング
大きく違うところだけ。 だからその時点でどっちがいいかって言われたらまあ確かに
クイックにわかるのはLLMの方じゃねみたいな。 確かにね。いわゆるもうすでに学習し終わったモデルがあるってことなんだよね。
なんかGPTとかそうクロードとかそういうLLMのモデルを今回のそのタスクにちょっとチューニングしたっていう
ものを指してるであってますかね。 そうそうそうなんかそのこいつはこの天体のライトカーブの情報ですよって言って
事前に情報を与えてあげているものがいくつかあるって言う。
どういうモデルなんだろうなっていうのがちょっとよくわかってなくて。 スターウィスパーの
単純なデータとして時系列のデータとして見るモデルはGeminiがベースになってます。
で画像として取得するやつはDeepSeek
で音声として認識するやつはQuen。Quenっていう多分これ中国の中国の論文だから
LLMの基本概念
中国で多分使え使われている音声認識のAIのモデルの一つって感じかな。 なるほどね。
だからLLM、GeminiとかDeepSeekに事前に天体の種類とそのデータを与えといてチューニングされたもので
精度が出るってイメージ。 なるほどね。そういうLLMの使い方できるんだなーっていうのちょっと驚きだったというか知らなかったですね。
そもそも何かその事前に教えるっていうのはもちろん何かモデルをちゃんと洗い替えるってファインチューニングしなきゃいけないから
ぴったりそれではないんだけどラグとかも言っちゃえばそんなようなイメージ。 まあそうだね。事前に情報を与えて
でそれに特化した、特化して回答してくれるものにするみたいな。
とかっていうのがあるからある程度なんかその、でLLMってそもそも世の中にある言語でやり取りされているもの全てをベースに作られていたりするから
その中でもここはこうやって解釈するんですよっていうふうに教えてあげるっていうのはなんかまあ人間にノウハウを教えてあげるのと比較的近い。
でその上でその時系列のデータを
なんか処理させるはまあなんとなくわかるじゃんLLM。 でも画像言語化とかも結構強いから
そんなに精度が出るんだーってところに驚きながらと。 そうだよね。
今後すべてそのLLMベースのモデルにした方がいいんじゃないかっていうぐらい思っちゃいましたね。
あーまあね、だからその多分その解釈性みたいなところとかはまた課題なのかなとかちょっと思ってて。
なんかイメージその大学の教授とかってさ、なんかデータパッて見た時にさなんか心眼みたいな感じでさ
経験値をベースにこれってこうでしょって言ったのが意外と分析したら当たってるとかってあるじゃん。
あるある。 だからなんか感覚的にはそっちに近いのかなみたいな。
LLMにいろんな特化した経験をさせることによってそういった心眼みたいなのが身につくけど
実際になんか定量的に分析させたら細かく分析させようとするとまた別の処理が必要になってくるみたいな。
ある程度のそれっぽい論理はつけてくれるはずだけど、みたいなところはもしかしたらディープラーニングとかの方が、
ディープラーニングも十分ブラックボックスではあるんだけど。 まあね。
LLMほど複雑なのかっていう話はある。 そっか。
画像だったらどこを中心に見てるかとかっていうのはヒートマップで見れたりするし、
だからまあシンプルな AI モデルを使っている方が
なんかビジネスの場とかだとやっぱりまだ有用だよねっていうのは変わらないのかな。 かもしれないね。
でもこれだけの精度を出せているから他の研究で使えるよっていうアピールの論文なのかもしれない。 そうだね。
で、もう1個面白いのが、その何十万というデータの中に本当に数パーセントしか含まれていないデータとかっていうのは
その世の中の天体って全てが同じ数あるわけじゃなくて珍しい種類の天体とかもあるわけじゃん。 そうだね。
で、そいつらを当てに行くってディープラーニングでやろうとした時に、そのサンプル数が少なくて学習の時に重みが落ちて
検知しきれないっていう事象に陥るじゃん。 そうだね。
それに対してLLMはなんか、いらないんですって。 ええ?
その結局は、そのものを画像として捉えた上で、この種類の天体ってこういう画像だよとか、この種類の天体ってこういう変化するよっていうのを教えてくれたら、
教えてあげれば、なんかこう、それを分類する時はこうやってやるんだっていう多分、なんかいろんなロジックをなんとなく作って拡大解釈してくれるみたいな。
全体の精度に比べたら若干落ちるんだけど、F1スコアとかが若干落ちるんだけど、そのディープラーニングだと全体の精度87%に対してある天体の精度25%しか出ないとか
サンプル数が少ないやつ。のに対して、例えば画像で認識するやつだったら全体95%で、その検証サンプルに対しても94%とかで出るとか。
すごいね。 これは多分その学習する時の材料がディープラーニングってその与えた情報の中で学習するじゃん。
から、重みがもちろん減るっていうのはそうなんだけど、LLMに関しては元々なんか世の中全体を包括的に見たモデルの中で、
あの、こういう傾向のものはこうだよって教えてあげたら、人間も両方とも10枚見せられた上で、じゃあ10個分けてくださいって言われたら意外とやりやすいみたいな。
っていうような感覚がそのまま反映されている結果なのかなって思ってて。 学習の仕方とかがそもそも違うんかな、そしたら。
その、LLMはそもそもその背景にある知識量が多いから、その与えたデータを
あの、なんだろうな、感覚的にはこういろんな角度から解釈して準備しておけるみたいな。 あーそうか。
けどディープラーニングは与えた情報の中で最適な重み付けをして、フィッティングしてるみたいな感じだからそいつらに。
なら情報量少ないものには荒いフィッティングになって、当てにくくなるみたいな。
いわゆる特化型のモデルって言われる従来の、その専門に分類するモデルを作っていくみたいな方が、結果的には精度が悪くなるってことなんですね、今の話。
ハズレ値的なものも含めて、広く判断させようとした時にはっていう。 逆にまあそれ全然関係ないことも含めて学んでるこのLLMの方が、
そういうハズレ値的なところも広いことができるっていう。 そう、これ結構びっくりだった。
確かにな。感覚的なこのところと少しギャップがあるなっていう。特化型の方ができるんじゃんと思ってたけどそんなことないんだなっていう。
多分それはなんかその他の天体も含めて学習した上でマイナーな天体を当てさせようとしてるからダメで、その天体特化の
高度曲線の学習モデルを作って検知しに行くっていうことができればいい。 そのそもそも40何万個ってあるデータの中に何種類か天体が含まれてるのね。
同じ天体じゃないから。 そっかそっか。特化型っていうふうになったらその
数の、数に負けるというか他のサンプル数。 おそらく学習データとしてはもっと多かったらそういうハズレ値的なのボリューム増えるから
結果的には当てられるんだけど、 どうしても少ない、まだ足りてないんでしょうねきっと。
そうそうそう。で、なんかイメージとしてはタスクとしては得られたいろんな天体の情報をガーってAIに入れて、これこれ、これはこの天体、これはこの天体って分けたいみたいな。
この天体はこういう種類だからっていうふうに狙い撃ちするんじゃなくて、 情報がたくさんある中で効率的にこの
AIの将来の可能性
ヒヨコ鑑定士みたいな感じで仕分けしたいみたいな。 そういうのにはLLMが得意なのか。
うーん、なんか良いらしい。
面白いな。 そんな使い方あんだみたいな。そうだよね。
でもちょっと産業的な使い方に近い、自然科学的な使い方っていうよりは、 産業で使われるAIモデルとかと
感覚は近そうな気はする。 仕分けっていう意味だと思うんだよね。
だからうちらが研究の時にやってたような、そのフレアっていう星の爆発を検出したり、そうなのかどうかって判断するっていうのにも使えますよね、今回の話って。
ですよね。早く言ってよ。
でも、俺らがやってたやつは、今考えてみれば 統計手法でやった方が
情報の荒さとか そういうのも含めて言うと、統計的な手法でやるので十分な範囲ではあったかなって思ってて、そうだよね確かに。
けどまあ試みとしてはおもろいみたいな。なんか最近空間的にめっちゃ広がっている天体に対して
なんか人間、なんかなんだろ、その空間の中から構造物を取得するとかって、やっぱ人間の目でやったりすると、とか
画像の中の一箇所一箇所で統計的に処理すると、ちょっとやっぱ 現実的に回らないみたいなものに対してAIでまずは目星ところを検知するとかっていうのは
使い方としてはなんか合ってる気もするし 非効率な作業の部分を効率化するとかっていう話
そうそう、だから今回のもう死ぬほど天体のデータがあるけど人間の手が回ってないみたいなところに対して
AIにまずは一時的に分類させるっていうのに使われるとかだったら、まあ確かにあり。 まあでもそっか、うちらのフレアの時もこのフレアの可能性のある画像がパーッと送られてきて
どうか、そうなのかどうかみたいなところを一目でチェックする前に統計的な手法で一旦分類はしてましたもんね。
そうそうそうそう、プラス俺らが作ってたモデルだと天体狙い撃ちだったから、もうもっと情報が絞られたところに対してAI当てようとしてたから、まあ確かに設計としては
AIでやる必要あるって言われても、今の時点でもプッシュしても通せない気がする。 確かにね、ただ当時はまだその
そこで使っているAIのモデルがどんなリッチなものなのかっていう感覚も正直なかった状態で 作ってたから
なんかギャップがあったんだなというか、ちょっとリッチなモデルを使いすぎ、作ろうとしてたなーっていうのはちょっと反省ですね。
だからなんか、コンサルとかの案件で入って、AI使わなくてもいい案件にAIぶち込もうっつって、わーってやってる、あのなんか浮かれたデータサイエンティストみたいな状態。
解釈はちょっと捨てるんですよとかって言われて、お客さんが、え?みたいな。 そうだよね、今になってようやくわかるっていう。確かに俺らの設計も悪かったみたいな。
それを指摘してくれる人もいなかったっていう。 そうそうそう、時代的にね、2019年とかだからね。
っていうような感じで、まあなんかとにかくLLMで何かを解釈させるとか分類させるっていうのが、なんかある程度できそうっていうのは
結構これからまあより使える部分かなと思ってて、俺も実は今仕事でそういうLLMの使い方を
KPIとデータ分析
検討し始めてるというか。 あーそうなんだ。 今度ね、どっかで、どっかのエピソードで喋りたいんだけど、
KPIってなんでこの数でこれだけ見てるんだろうって言語化したことあるっていう話で。 難しい問いですね。
なに? あれって、もちろん大事なものを明示的に定点観測して、事業がうまくいってるかいってないかを判断してるんだけど、
それが全てではないじゃん。定点モニタリングしている10個ぐらいのKPIの指標を見てれば本当にうまくいくのかで言うとそうではないよね。
本当は、でそれがあるからアドホックな分析の対応が発生して、結局何かいくつも見て総合的に判断するってやってるけど、
これ100個ぐらい見てても、常に100個ぐらいの指標が全部正常だったら、そっちの方がいいわけじゃん。 まあそうだね。
けどそれができない理由って、人間の目で確認しきるキャパで蓋がかかってんだよ多分。
いや間違いなくそうじゃない。運用が回らないよね。そんなに数値集めて判断をしてたら。 そう。
けど、数値のデータまで落とし込めていたら、短期中期長期全ての観点でAIが毎日全部の結果をさまって、明確な指揮位置じゃなくて変な傾向変わってるよって言えるはずなのよ。
で、それのアラートが出てくるか出てこないかで判断して、あとは定点観測するもので、実際に目で確認するものを10個ぐらい絞っておけばいいみたいな、っていう状態が多分理想だしAI時代だったらできるようになってくるみたいな。
まあ確かにね。 っていうので、AIがそいつらを全部モニターして、定期的に変な傾向出てきたらアラートを上げさせるっていうのを今考えてる。 へー、言われてみたら確かにそうだなっていうのと、AIならできるようになっている。
そうそうそうそう。いろんな本見て、改めてKPIって何?って思ったら、で、データ処理とかの本とか読んでも、KPとかビジネス運輸の戦略とか見ても、そのKPIをどう絞るかみたいな話っていうのがやっぱり出てきて、なんで絞んだろう?みたいな。
全部見りゃいいじゃんと。 そうそうそう。 まあそうだよね。 100人データサイエンティストがいないから、見れないだけなんじゃないかっていう。 うんうん。もう正論、中の正論じゃない?それは。 そうそうそう。まあだからそこまで広げた上で、本当に必要なの?ってなってなくなるっていうパターンもなんか全然多分世の中的にはあるんだろうけど、多分外にはあえて言わないけど、そうやってやってる会社も全然あると思うんで。
いや、ありそうですよね。あとはまあ運用とかのツールがそういう設計になっている可能性もありますよね。 そうそうそう。うん。だからやっぱデータを解釈させる。 うんうん。っていうの。で、なんか今回思ったのは結局そういうのも時系列の変化を見るから、もしかしたら画像で撮った方がいいのかなとか。
なるほどね。 とかね。
天文科系AIの活用
方法の一つとして。 そう。 なるほどなーって思いながら。 その場合はやっぱLMを使っていくっていう風になるんでしょうね。今回の話みたいに。 そうそうそう。
ライトカーブに閉じない話なのかなって思ってる。 うんうん。
オプスウィスパーみたいなのが出来上がるんですかね。 そうそうそう。
ちょっとね、そういったのやってみたら話せるかな。 確かに。
面白い話だな。 っていう感じで。はいはい。今回は天文科系AI。
天文科系AI結構宇宙話でも話してるから、定期的に持ってくるわ。 確かに。
その、今日みたいなサンプリングの話とか、モデリングの話とかしたいとき持ってくるわ。 そうだよね。宇宙のデータなんて膨大だからAI活用ってするべき対象ですもんね。
宇宙話ではざっくりAIでこういうとこ見て、こうやって精度出たから、こういう世界になっていきそうみたいな。天文とAIはおもろいよねっていう話で終わるんだけど。
はい。 もうちょっと深い話は。
今日のそのサンプリングの数とか、そういう話したいときは持ってくるわ。 どんなモデル使ってるとか結構面白いなと思いますよ。
楽しみにしてます。 隣のデータ分析屋さん、今回も面白いと思ったらフォローレビューよろしくお願いします。
番組の感想や質問は、ハッシュタグ隣の分析屋、隣のがひらがなで分析屋は漢字でお願いします。
また、概要欄に貼ってあるお手紙フォームからコメントを寄せてください。 ではまた。
バイバーイ。
