1. となりのデータ分析屋さん
  2. 87. 人工衛星データと流通で見..
2024-10-23 25:52

87. 人工衛星データと流通で見るCO2!結局LightGBMが最強なんじゃね?

ロングブレスダイエットを継承するものよ。地球環境を考えよ。5老星がやってきた。二酸化炭素を再利用せよ。


番組の感想や、質問はXから「⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠#となりの分析屋⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠」もしくは、以下おたよりフォームからお寄せください! ⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠https://forms.gle/1Qq3cfqYgVXgs5Qr6⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠


=========================

▼書籍の購入はこちらから 超入門 はじめてのAI・データサイエンス(培風館)⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠https://amzn.to/3R3aI9g⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠


=========================

▼りょっち 第3回Japan Podcast Awards受賞Podcast「⁠⁠⁠⁠⁠佐々木亮の宇宙ばなし⁠⁠⁠⁠⁠」はこちら! X (⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠@_ryo_astro⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠) Instagram (⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠@ryo_astro⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠)

▼たっちゃん X (⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠@⁠⁠⁠⁠⁠tatsuki_2022⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠)

サマリー

人工衛星データと機械学習を活用して、CO2排出量の正確な測定と投資家への評価の重要性が語られています。特に、ライトGBMやベイジアンネットワークなどのモデルがCO2排出量の分析において強力な手法として注目されています。人工衛星データを使ったCO2の動向分析や、経済活動がCO2排出に与える影響について考察しています。コロナ禍のデータを通じて、人の活動が二酸化炭素の増加に寄与していることが強調され、デジタルツインとシミュレーション技術の進化が未来の環境問題にどのように寄与するかについても触れられています。このエピソードでは、グラフデータベースの重要性とそれがAIやグラフラグとどのように連携するかに焦点を当てています。また、データサイエンティストとしてのキャリアの変化についても言及されています。

CO2削減とESG投資
結局、誰が得するかっていうと、このCO2排出を削減できたよね、っていう事業が今後伸びるよね、っていうところに対する投資が今増えている。ESG投資と言われるところ。
だから結局、投資家が企業のCO2削減の取り組みを評価するときに、正確に測定できた削減効果みたいなところを使うので、
ゆくゆくは投資家が良いところに投資して儲かって嬉しいみたいな、良い思いをするのがその人たちなんだなっていうのは結構調べてて思いますね。
いや、バッドエンドやん。
でも、この正確にCO2の排出の測定量を測るってところで、機械学習使われてるよとかAI使われてるよってところはやっぱりあるみたいで。
どこにでも機械学習とか使われてるはいるんですけど、こういう領域でも正しいCO2排出量を求めるためのモデルみたいなのが実在する。
そんなところで最後話したいのとは思っていたんですけど、プルームバグがちょうどいい感じの記事を出してて、
いろんなパラメータを使わないと正しいCO2って導けないんだよっていうのがあってですね、機械学習との相性はかなり良いよっていう話があって、
単純な数式では求められないみたいですね、CO2の測定量っていうのは。
どうやってやるんだろうな。最近さ、それこそもうネットワークオタクじゃないですか、私最近。
一回さ、警察の犯人特定のプロファイリングのベイジアンネットワークの話したじゃないですか。
多分今のそういう排出量とかの最適化の考えるときにベイジアンネットワークとか使うんだろうなーって。
あーなるほどね。
ちょっと思ったね。最近ベイジアンネットワークめちゃめちゃ勉強してるんだけど、
はいはい。
ライフサイクルあったときにさっきいろんなのあるって言ったじゃん。
その生産があって、配送があって、小売りのとかがあってっていうのが時系列に並んでて、それぞれで積み重なっていくから、
それぞれの起点を例えば濃度とかにして、その中で出る二酸化炭素排出量の平均値とか、
こういう正規分布に従うようとか、10でこんな感じになるよみたいなのが多分連続していくから、
連続してつながっていくそのネットワークをどこを減らしたらどこのパラメーターがどんぐらい下がるかっていうのが多分、
前後の濃度との相関関係を持ってるだろうから、
確かに。
なんかそれで求められたりはするんだろうなみたいな、
なんかなんとなく二酸化炭素排出量の見積りにベイジアンネットワーク使われてんじゃないかなって思ったね。
でもその正しくこの正しくというか、そのライフサイクルの中での情報が正しく取れていくと間違いなく使えるなと思っていて、
一方でその一つでも多分その欠点とした一つでもその情報が欠けると、
その積み上げがうまくいかなかったり求められないよねっていう問題もあると思うんですよ。
そのパターンごとにどういうデータが集められているかによって多分使う手法っていうのは変わってきて、
きれいなデータだったら間違いなくこうもっとシンプルなベイジアンみたいなシンプルな方法で求められるんだけど、
一方汚いデータ、欠損がめちゃめちゃあったりとか、
未上場企業とかはそういう情報がなかなか出してくれなかったりするから、
まあ確かに、責任がないしね。
そうなんですよ。なんで累次している企業から求めに行くとかっていう方法が必要ったりするので、
なんかそこではこの記事に書いていたのはすごい、今一般的に使われている勾配ブースティング系のモデル、
ライトGBMとかXGBOOSTと呼ばれるような、カグルとかでもよく使われるようなツリー系のモデルですね。
決定儀系のモデルを使って、なんか800個ぐらいの特徴量を使用してモデル構築しましたよというふうに書いてあって。
人工衛星イブキの役割
まあツリーにできるんだったらベイジアンネットワークも多分使えるんだろうね。
そうですね。
まあ欠損の保管の仕方とそこの扱い方と解釈性とみたいな、多分バランスなんだろうね。
まさにそうですね。いつまでずっとライトGBMでいけんだねって最近すげえ思う。
すごくない?
いやすごい、なんでもいけるっていうふうにもなってますよね。
なんなんだろうね。もうちょっとさ、LLMぐらい褒められてもいいよね。もうちょっと。
なんでもいけんじゃんみたいな。
時系列もいけるっていうのがね、結構わかってきてるしね。
あ、そうなんだ。
そうなんですよ。データの扱い方とかちゃんと工夫が必要なものを時系列データにも当てはめられるっていうところもある程度精度が出てますよって言われてたり、なんでもいけますよね。
なんでもいける、マジですごいと思う。なんかほら俺らが勉強し始めた頃ってさ、2018とかじゃん。
はいはい。
あの頃からいるじゃん。
いるいる。
あの頃も、あの頃のなんかステートオブジェアートのモデルこれだよみたいな言ってたとか、なんならもうそれよりも新しいやつ出てたような気もするけど、結局そこなんだみたいな。
いやそうですね、初手ライトGBMってありますよね。ずっと言われてる。
それで大体出るから、まあ一旦それでいいんじゃないみたいな話とかね。
そうなんですよね。これはしばらく変わらなさそうですよね。確かにLLMぐらい褒められてもいいかもしれない。
いやマジで、ほんとでそうだよね。
そうですね、こうなんか分類とか回帰っていうタスクだったらライトGBMは圧倒的に強いっすよね。
すげー。
いや言ってたもんな、もうなんか困ったらライトGBMだみたいななんか呪文のように唱えられてた気がする。
あの20万ぐらい払ったスクールで。
あ、ほんとっすか。変わらないっすよねそれは。
あのさ、そのスクールでさ、俺があのマシンラーニングの勉強してた時の講師の人。
だからこの間ツイッターでフォロー来て、その時は普通に1生徒だからさ、だから向こうは全然覚えてるわけもないんだけど。
フォローしてたらフォロー返ってきたから、あ、マジかーと思ってDMしてみたら、マジっすかーみたいなっていう感動の再会をこの間果たした。
えーすごいっすね。
もうなんかデータマイニングとかそういうなんかあのマシンラーニングとか出てくる前の世代からずっとこうデータ整形してデータ分析してとかっていう仕事をやってた系の人で、業界でも名が知れてる人なんじゃないかな。
データ可視化学とかさ、あのなんか単色、なんか2色ぐらいでさ結構シンプルなやつでシリーズ化してるやつあるじゃん。
あー絶対見たらわかるな。
あの江崎さんがリードみたいになってるやつ。アイシアソリッドとかもこの間美跡の本書いてたやつ。あのシリーズのうちの一つも確かその山田さんって人が書いてたね。
あ、そうなんですね。すごいっすね。なんかいい意味で世界狭いっすね。
ね。多分そうやって繋がってもう結構見えてきてんだろうなみたいな。まあこのぐらいの範囲の人たちだよなみたいな。
そうですよね。
多分そんな大きくない世界だろうね。データサイエンスとか。
いや、繋がりますね。
ライトGBMすげーって話からすげーそれたね。
あーいやまあでもそうですね。ライトGBMが結局使われてんじゃないかなってところですね。ここら辺の領域でも。
でもなんかあれだね。今の話ってさ、二酸化炭素のその排出量をいろんなところで例えばライフサイクル全部見て、だいたいどのぐらい出てるって見積もるとかさ。
はい。
なんか全部見積もりというかなんかちょっと機上の空論感ない。
あーその。
なんか実測定があるわけじゃなくて全部推論っぽい雰囲気ちょっとあるじゃん。
そうですね確かに実測定ではないしブレというか精緻に求められてはいないですよね。
そうそうそうそう。
うんうん。
だから実際の測定で本当に上がってる下がってるみたいなさ。
はい。
なんかその層面1個に対してここのパラメータチューニングしたから二酸化炭素ちょっと減りましたとかわかるけど。
うん。
じゃあなんか結局最終的にはさ、世界全体での二酸化炭素排出量を減らしたいわけじゃん。
うん。
けど多分その個々のちっちゃいプロダクトのちっちゃいチューニングしてたものが果たして積み上がってって世界的に。
10パートが変えるインパクトになるかで言うとそれも想像つかないじゃん。
はい。
そうだから結構むずいなと思ってて。
でなんかその宇宙話で二酸化炭素の排出量の話したことあるよっていう。
これね多分ね終焉者の連載でも書いたんだけど。
へー。
あのJAXAが打ち上げてるイブキっていう人工衛星があるのね。
はい。
イブキ1あって2もあってみたいな感じで。
宇宙から人工衛星で地球上の二酸化炭素量を常に測定し続けてるっていうレーダーで。
そうっていうのがあって結局ね20年ぐらいずっと二酸化炭素量ってやっぱ増え続けてるんだよね。
へーそうなんですね。
人工衛星だからさ低軌道確かそんな高い軌道じゃなかったはずだから低軌道で高度500キロ600キロとかってなって1日1周100分ぐらいで回りますみたいな。
1日15周して1ヶ月経ったら世界全体の結構聖地のマップできてますみたいな。
はいはい。
二酸化炭素の動向分析
そういう感じになってそれを15年20年前ぐらいから毎月横軸に1月から12月縦軸に1990何年から2020何年までの年をとって世界地図のマッピングに二酸化炭素量で色分けをしてるマップみたいなのがあるんだけど。
はいはい。
ずっと赤くなり続けていくのね年が重なっていく。
どんどん増えてるんですか。
増えてる増えてる。
そうだよねそりゃそうだよね。
でそのずっと増えてってる傾向の中で唯一1回だけ加工傾向になった前年度比4月とかの前年度比がグッと下がった時があって。
うんうん。
でそのタイミングが何かっていうとコロナのタイミングなの。
あーなるほど。
コロナのタイミングまではもう20年間ずっと上がってきた二酸化炭素量がコロナが入ってほらあのロックダウンとかになったじゃん。
そうですね街で歩かなくなりますよね。
そうだよねロックダウンで。
はい。
そうってなってもう東京とかの経済も止まってみたいな人いないみたいな状態だったじゃん。
はい。
ってなった時はやっぱ落ちるみたいな。
だから車の移動量も減るし。
ある意味証明されたようなものですね。
人の活動でCO2増えてるんだよってところが。
そうそうそうそうでしかもその落ちてんのはニューヨークとか東京とかイギリスとかあの経済先進国ばっかりなのね。
なるほど。
の都市単位で全部落ちてんの。
うんうん。
そうっていうのが出ててだから結局経済活動が一番悪なわけよ二酸化炭素の面で言ったらね。
経済活動とCO2排出
はいはいはい。
そりゃそうっすね。
それがどう考えてもこう支配的な要素になるわけで。
そのそうめんのライフタイムを見てそうめんのライフタイムの中のパラメーターがチューニングされたぐらいで。
そのコロナで経済活動が止まったら二酸化炭素減るみたいなぐらいのインパクトが起きるんかっていう。
世の中の二酸化炭素排出してるものの上位こう規御率で全部上から並べてって上からチューニングしてきゃいいじゃんっていう話にもなるけどそういう打ち手はしないじゃん多分。
そうっすねだからそうなんですよこの食品業界も別に全体で見たら多いわけじゃなくて全体の排出量が10%にも満たないくらいの業界なんですよね。
だからやっぱり一次産業が。
飛行機飛べろって話だもんね。
そうそうそう一次産業二次産業とかなんですかねが多いですよねその加工をしたりとかいわゆる石炭石油をガンガン燃やし続けるような業界。
そうそうそうそう。
そこに手こ入れしないとインパクトとしてはあんまり意味がないという。
そうなんかねほらデータサイエンティストの人聞いててさ機械学習のモデル作ってなんかシャップとかでさこれがすげーんだって言った後にさなんかちょっと10番目のパラメーターチューニングしたんですけどとか言って後輩に言われたらぶっ飛ばしたくなるじゃん多分。
そりゃそうですね。
けどほらなんか前のプロジェクトではこれが一番重要って言われてたんでみたいな。
そっちでチューニングしたら直るかもしれないけどこっちで見たら10番目だからみたいな。
っていうのがあるからなんかそういうのを考えるとなんかどこまで改善するんだろうねみたいな。
じゃあ何するかって話ですけどまあでも結局誰かがこう旗振っていかないといけないっていう話でもあるし経済成長国の成長を進めるためにはこう結局インパクトの大きいところを手こ入れするのは多分しないので。
そうだよね。だからなんか煙突のさっきの例はめちゃめちゃピンときたというかどう考えてもあれがこうドミナントな成分だろうっていうのはなんとなく想像つくじゃん。
さすがにあれがなんかこうそこら辺の走ってる車よりも空気を二酸化炭素出してないですって言われてもそんなことなくねみたいになりそうだから。
だから反対勢力があるんじゃないですかそういうところを言っていって嫌嫌嫌。
確かに確かに。
確かに。
俺そっちが嫌だ今。
そうでしょ。
全事業者に対して同じ例えば半減50%半減させろよっていうのはそれは違うじゃないですかって話だと思うんですよね。
そうだよね。
うん。
あいつらが50%やったらこっちは大丈夫だろうみたいなね。
そうですそうです。
だからそれが会社企業単位であるでさらに大きくなってもう国単位で今こう進行している企業からするとアメリカとか日本とかヨーロッパとかに対しては嫌々って思うんじゃないですかね。
お前らが作ってきたここ20年30年だろうみたいな。
確かに。
お前らが10%落としたら俺ら別に多分200%で稼働しても大丈夫だみたいな。
そうですよだからCO2戦争じゃないですけど確かに大変ですよね。
そういうのあれなんだろうねこうすげー綺麗にシミュレーションするとかっていう世界がデジタルツインとかそういうのなんだろうね。
そうですね確かにデジタルツインでさもうミニチュアアースみたいなのができてさその中でもう簡単に言ったら先進国の経済活動これだけ抑えて二酸化炭素減らしたら100年後地球はどうなるんだみたいなさシミュレーションパーって回してさ。
でなんかそこに最近はLLMとかが対等してきてるから個々の活動をちょっと自立エージェントに行動させてよりリアルな100年間同じパラメーターで回すんじゃなくてAIがチューニングしたパラメーターで回してった後の地球どうなるんだみたいな。
じゃあこれじゃダメだつって変えるみたいなね。
そうですよね。最近デジタルツインとシミュレーションで何が違うんだろうっていうのを漠然と思ってて。
デジタルツインって言えばシミュレーションを組み合わせたようなものなのかなっていう理解なんですよ自分。
えでもそうじゃない?
そうですよね。シミュレーションができるからそれを将来予測するようなAIとかのモデルもそこに組み合わさってきてデジタルのデータとかをうまいこと組み合わせてすごいAIが動いている世界みたいなそういう理解になってるんですよ自分の中で。
今までのそのシミュレーションっていうのの方向性が多分こういう環境下でこいつらがこういう動きをしたら最終こういう値に収束するみたいな見方だったところから多分なんかデジタルツインって言ってるやつはもうちょっと再現する世界みたいなのを作って
その中にこう実際の実際の世界の挙動っぽいものを細かく設定していってそいつらの動きが最終その計にどういう影響を与えるかみたいなのなんか流度と手法の違いとか見てる世界の違いな気がするね。
あと多分そこに加えて現実の情報をリアルタイムに反映するみたいなシミュレーションのリアルタイム性みたいなところが加わってデジタルツインになるのかなみたいな。
あとはそう中で動く自立エージェントがいてとかっていうのになって完成に近づいていくんじゃない?
未来への期待
そうですよね。この前強化学習でも似たような話しましたけど、なんかデジタルツインとかがこういよいよリアルになってきて多分今今日このエピソードで議論してきたようなCO2のこの減単位みたいなとこもどうでもよくなって
シミュレーションでもう求められるじゃんっていう世界がやってくるんじゃないかなとはなんか期待しますね。
そうね。
だからたっちゃんが作ったサービスドーンって出た時に変わる世界どこにあるのかもデジタルツイン上でわーって見られちゃうみたいな。
そうそうそう。でゆくゆくは最適化がちゃんとされて食品廃棄なんてそもそも根本からないよねっていう世界が訪れたら、
まあ嬉しいですよね。
3Dプリンターとかでオンデマンドにメシ食作れるみたいな。
だから我々の事業っていうのはもう価値はなくなるんですよその時には。
あー世界がね。世界が変わったらね。
世界が変わったら。まあ理想ですねこれは。
面白い世界だな。
まあでも永続的にっていうもんはないしねきっとね。
今世の中の課題になっているものに合わせていくは大事だよな。
そうですね。まあ今その課題になっている食品廃棄をどう減らすかっていう話を今取り組んでます。
いい回だったね。
いろいろと語りましたね。
結構なんかお互い知ってた、俺が知ってたやつが多かったからタッチャンがこう最新で知ってることに合わせて聞いてどういうことなのかを擦り合わせられた気がする。
確かに確かに。面白い。
あんまもう片方が投げれるっていうパターンがさ少ないじゃん。
そうですね。うえーとか言って。
コンテンツ多めでしたね今回は。
抑えたからボケ。
ありがとうございます。
ロングブレスの時にもう一個話したいことあったね。
電車でロングブレスダイエットの人見かけたことある話したかったんだけど。
普通に言いしてるやんこいつ。
別にロングブレスしてもCO2の排出量変わらないからきっと。
あそっかそっか。
分かんないけどそれは。
意外と燃費良くなるってパターンかもしれない。燃費良くなって実は二酸化炭素排出量みたいな。
脂肪燃えてるってこと多分CO2出してますよね。
あーまずいね。
ロングブレスのそのいろんなところで出る圧力差で。
ハリケーンが増えるとか。
ハリケーンでもやめようこの話はもう。出口ないや。
はい。
まあそんな感じで。
はい。
次回。
グラフデータベースの重要性
次回はほらグラフラグみんなめっちゃ気になってるっぽいからさ。
はい。
グラフラグのベースになるグラフデータベースの話ちょっとしようかなと思って。
今まで話したことなかったでしたっけ。
多分ねちゃんとはねないはず。
今までの話は結構意外となんか普通のリレーショナルデータベースで扱ってもいけるよねっていう体の話し方というか。
うん。
本当にグラフラグ攻めるとか本当にグラフ構造を活用しようと思ったらリレーショナルデータベースだと力不足なんだよね。
はあ。なるほど。
でもどの会社もリレーショナルデータベースしかないじゃないですか。
ISQL叩いてデータ引っ張ってくることしかしないですよ。
そうそうそう。そうじゃなくてグラフとして持つのに特化したデータベース、グラフデータベースっていうのがあるから。
それを持った上でグラフラグとかAIとの相性いいよねみたいな話とかっていうのができればいいかなっていう。
なるほど。
もう完全にグラフオタクになってる。
いいですね。
いいっすねでも。
まさかテック側でこんなね強みみたいなのを作っていくとは思ってなかったよね。キャリア上。
1年やったら人は変わるんだな。
変わるよ。
変わってるね。だってDNA転職した時プロダクトマネージャーで何なら分析すらするつもりじゃなく入ってるのにね。
そうじゃないですか。今なんていう職種でやってるんですか。
いや一応データサイエンティストだと思うよ。
そうなんだ。
いつもデータアナリストって自己紹介してるけどさ。
はい。
この間会社のプレスリリースでもデータサイエンティストって書いたし。
そうなんだ。
まあまあまあ。データサイエンティスト2人だとちょっとさ、ないじゃん。
そうですね。
幅ないじゃん。
幅ないっすね。
幅ないから。幅作っとく。とりあえず所属はアナリティクスブッチャーだしみたいな。
元ね。
元。これからも引き続きアナリストとしていくわとりあえず。
とりあえず。
いろんなとこプレス見ても多分データサイエンティストって書いてあると思う。
そうなんだ。
まあ分かんないですよ。来年再来年何してるかそれは。
データアナリストとサイエンティストの違いみたいな。2話とかでやってるじゃん。
1話かな。
1話だっけ。
1話か。
うん。
一緒だから。結局。
いやいやいや。そうなんすか。そういう結論でしたっけ。
そうでしたっけ。ほら、前職の時はデータサイエンティストとして働いてて、結局仕事内容ほぼデータアナリストだったんじゃね。後半はみたいな感じだったけど。
会社入った時はめちゃでかいモデル作ってたけど、後半からどっちかっていうとコンサルティング的な分析もしてコンサルティングするみたいな感じのだったから。
それはアナリストじゃねって話で。でアナリストとして仕事してるけど、実態見たら今計算社会科学とかネットワークサイエンスとかやってるから、それはデータサイエンティストじゃねっていう。
まあ確かにね。
型書きと業務内容は別に合わないんだよ。
確かに、そりゃそうだ。会社にお手持ちが欲しい。
そんなこと言いつつもう。
データサイエンティストのキャリア
データベースの話だね。
データベースの話っすね。
また深いところの話をグラフラグの人たちに見つけてもらうためにやっていきましょう。
はい。
隣のデータ分析屋さん今回も面白いと思ったらフォローレビューよろしくお願いします。
番組の感想や質問はハッシュタグ割りの分析屋、隣のがひらがなで分析屋は漢字でお願いします。
また、概要欄に貼ってるお手紙ホームからコメント寄せください。
ではまた。
バイバイ。
25:52

コメント

スクロール