老害と勉強ツール
老害、老害発見、老害発見。
ということで、今回は、勉強の仕方を教えてくるやつが老害なのかどうか、アップデートされてないデータサイエンティスト浮き彫り大作戦。
まさかな、そこに落ち着くとは思わなかった。当初の予定とは全然違うっていうね。
今回は、僕とかたっちゃんが勉強したときは、データ分析の勉強材料といえば、ボストンハウジングデータと呼ばれる、ボストンの不動産データだったんだけど、もうそんなん古いぞと、今の時代に即してないぞというところで、今は違う不動産データのデータが使われてるっていうところで、
今まだボストンって言ってるやつ、老害なんじゃないの?みんなが教えてもらってる先生、情報アップデートできてないんじゃないの?そういう話していこうと思ってます。
不動産のデータはどこを見るのが重要なのかとか、分析のテクニックとかの話もちらほらしつつ、最新のデータ分析、勉強法、第一歩、そんなところをお話ししていければと思っております。
ぜひ最後までお付き合いください。
隣のデータ分析屋さん。この番組は、隣の席に知らないことを気軽に聞けるデータ分析屋さんがいたらいいなぁ、をかなえるポッドキャストチャンネルです。
データアナリストのりょっちです。
データサイエンディストのたっちゃんです。
今回は、ボストンの土地の価格をデータ分析してみようのコーナーでございます。
ピンときてる人はいるんですよ。あ、ボストンの家のデータね、はいはいって。
そこはデータサイエンスリテラシーの問題だね。
リテラシーの問題ですね。
今回なんか難しい、小難しいタイトルつけたけど、あれですね、データ分析、データサイエンス勉強するときに一番最初に触る確率MAXのデータ、これが不動産データ、その名もボストンハウジングデータでございます。
触ったことある?そもそも。
ありますあります。
これもね、やらされた。銃課金したコースで。
あ、そこでやらされたんですね。
やらされた。
なるほどなと思って楽しくやりました。家の価格予測するAIモデル作るところ。
なんか、おーって感じ。
ねえ、そうっすよね。えーって思いながらやりますよね。
感動はしないよね。
感動はしないっすね。
あ、でも感動はしないけど、これもし自分で作れたら、なんかまあ金儲けできんじゃねみたいな匂いはさせてくれますよね。
それ思っためっちゃ。
そう、だって家の価格をAIが予測してくれるっていうモデルを作るのがゴールの話だから、それを自分で作れるんだったら、もうなんか不動産で鑑定士にでもなれるんじゃねみたいな感じ。
そう。
思うよね。
思わせてくれる話。
そう、だから不動産屋さんがこれ覚えただけでちょっとすごいんじゃないとは思う。
そうそうそうそう。
なんか多分自分で不動産の仕事とかやってる人とかは、めっちゃこれいいと思うね。
なんかデータサイエンスのいい例だとは思う。
もうデータサイエンティストリテラシーあるなら知ってるって話したけど、これタイタニックのデータと似共なんですよね。
タイタニックデータをやるか、ボストンハウジング、住宅価格のデータをやるかっていう似共だと思ってて。
えー。
で、まあ前にタイタニックデータやったから、今日はボストンハウジングだよねっていうところでの、これ話そうと思ってたんですけど違うんですか?
いや、あのね、俺タイタニックの時マジでタイタニックのあのデータ分析知らなかった。
あ、そうなんだ。
そう。
かぐる童貞だから。かぐる署長かもしれない。
いや、いい、そこは童貞でいい。
あ、そうなんだ。
そう。だからあの時は普通にただの映画好きとして出てた。
まあそうだろうな、確かに。
あのなんか、知らない体で喋ってたとかではなくて、そもそもそのデータ分析はやったことなかった。
えー。
でもボストンハウジングはあるんですね。
ある、そのエピソード6か7ぐらいで喋ったあの、俺AI勉強10課金勢だから。
はいはいはい。
10課金コースの中でやったわ。
えー。
あ、じゃあたまたま出会ったってだけで、もしかしたら出会ってなかったかもしれないって話だ。
そうだね。
それはね、出会ってなかった可能性もあるし、今思うと10課金したのに、あのデータ触ってたんだとも思ってる。
あんなにお金かけたのにね。
そう。
今になっちゃもう、そう無料で触れるデータだからね。
ググればわかるやんって。
なんでそのタイタニックと2強なのかって話ですけど、
うん。
今回のその住宅価格を予測するっていう話は、まあ大袈裟に言ったらその、
0円の自己物件から1億円のもう豪邸マンションまでを予測するっていう、いわゆる金額を予測する話なんですよね。
うんうん。
これちょっと難しい言葉で言うと、回帰タスクって言うんすけど、
回帰タスク。
そう、回帰っていう、回るに帰るで回帰ね。
あれなんで回帰って言うんだろうね。
って聞かれると思ったんで調べてきたんだけど。
やらせっぽー。
マジで言ってなかったのに。
でもこれ僕も初めて知ったんですけど、
なんか語源はフランシスゴルドンっていう統計学の創始者って言われる人が言い始めた話で、
適当なの言ってるでしょ、今。
いや、ちゃんと調べたんだから。
フランシスゴルドン。
そう、親の身長が極端に高いとか低いとか、
ってなった時に、その子供って別に極端に身長が高いとか低いじゃなくて、
おそらくその子供の身長は、一般的な子供の平均値に近い値になるよねっていうことを言っていて、
これが平均値に帰るっていう意味で、回帰っていう言葉を使ったんですね、このゴルドンが。
そこから統計学では、回帰っていう言葉を使うようになった。
そうなんだ、謙虚な人でいいね。
だってさ、物理学者とかさ、自分の名前法則につけてさ、しかも何人かで見つけたら何人かの名前並べちゃってさ、
ボイル、シャルルとか、その点その一般名詞に落ち着かせるっていう謙虚さ。
はいはい。
ゴルドン万歳。
だからもしかしたらゴルドンタスクとかになってたかもしれないんだ。
だめよ、そんな本当に。
エゴ、エゴ。
だめだね、統計学者はやっぱりエゴを出さない。
そうそう。
だから回帰タスクって言うんだけど、一方でタイタニックは、あれ沈没したときにその乗客が生きるか死ぬかの01を予測するっていうことで、
0か1かの分類タスクって言われるんですけど。
あー、そっか、そういう違いがあるのか。
そう。やりたいことの違いが大きく2個あって、一般的にAIモデルってこの2つに落ち着くんですよ。
回帰モデルか分類モデル。
今回の住宅価格は回帰の話だから、じゃあ回帰タスク、回帰モデルを作るチュートリアルは住宅価格でしょうと。
あー、なるほどね。
新たな不動産データの使用
そういう話なんです。
なるほど、なるほど。あ、でもそれで言うとあれだわ。
タイタニックじゃなくて、ガンでやった、俺。
あー、ブリーストキャンサー。
はいはいはい。やりますね。
あれも分類だよね。
あれは分類ですね。ガンにかかったかどうか。
そうだよね。
ガンと診断されたかどうかかな。
そうそうそう。
タイタニックだったのか、ガンだったのかっていうとこですよね。
あー。
まあ、一回ガンはやんなくていいか、じゃあエピソードとしては。
そうだね、もうやんなくていい。
ググレカス。
違う、ジピレカスね、今。
あー、そうだったそうだった。
ここで生み出した名言を忘れるとこだった。
まあ、というとこで、今回は住宅価格の話をしていこうと。
はい。
まあ、今までいろいろ喋ってきたけど、何のデータなんだいって話ですね。
ボストン。東海岸。寒い。
あ、そうなんだ。
え?
データは使ったことあるけど、ボストンって何か、どこかは全然知らないで。
あー、データサイエンティスト悪いとこが出てるね、それは。
悪いとこが出てる。
数字でしか見てない。
じゃあ、ドメイン知識ちゃんと蓄えてきてもらっていいですか。
本当に。
ボストンは東海岸のアメリカのニューヨークよりもちょい上のところ、何があるかな。
ボストン大学がある。
あー、はいはい。
MITとかもボストンじゃなかったかな。
まあ、そうな。
まあ、家はいっぱいありますよ。
どこにでもあるよ。
アメリカバカにすんなよ。
でもね、そう、ボストンの住宅データってボストンハウジングって言うけど、今使われてる住宅データの主流って、
アイオワ州のエイムズっていう地域のデータセットをよく使うらしいっす。
え?ボストンハウジングデータじゃないの?
もしくはカリフォルニアのデータ。
もう今ボストンハウジングのデータって一般的じゃないらしい。
え?嘘でしょ?
そうなんだよ。
なんで?え、どういうこと?
俺らって何を学ばされてきたの?
ちょっとそこら辺をね、この後話していこうかなと思います。
衝撃事実。
ボストンハウジングがもう使われていない。
え、じゃあ終わり?
いや、違う。これから話していくんだって。
どんなデータかね話すと、
アメリカの国勢調査で収集されている、
1970年代の住宅価格のデータなんですよ。
はいはい。
家1個の価格じゃなくて、
ボストンのある地域ごとの家の平均値がデータとして蓄積されてて、
その地域の近くに高速道路が通ってるかとか川があるかとか、
犯罪率だったり、
大事だよね、犯罪率。
あとはお店の数だったりとか、
まあもろもろ13個ぐらいの特徴量がついてるデータセットがあって、
データの総数ですね、サンプル数としては500件しかないんですよ。
あら。
そもそもめちゃめちゃ小さいデータ。
へー、それでもどうにかなるんだね。
勉強の材料としては。
ビッグデータじゃないんだね。
ビッグデータってどっからビッグデータなんだろうね。
どっからって知ってます?何かあります?基準。
いや、ないな。ないけど、万は欲しくない。
僕の個人的な基準としては、
その、パイソンで扱えるかみたいなところ。
はいはいはい。
なんか、いわゆる分散基盤、スパークとか使って、
並列でデータ回すみたいな、
ああいうところを考えないといけなくなると、
ビッグデータとボストンの住宅データ
ビッグデータかなと思ってて。
あー、なるほど。じゃあもっとだ。
多くとか。
はいはいはいはい。
かなと。
なるほどね、ビッグデータ。
ちょっとみんなのビッグデータライン知りたいね。
そうですね。これは人によって違う気がする。
教えてほしいな。
でも、別にさ、誰でもみんな適当に言ってるでしょ、
ビッグデータなんてもんは。
そうだよ。
ね。
特に基準はないと思う。
そうだね、確かに。
俺でもこの間パイソンで4億データぐらい出したよ。
やば。
全然、全然返ってこないもん。
ああ、スパークと思って。
やば。結局ね、マシンのスペック次第だからね。
それが出せるかどうかなんて。
そうだよね。
まあまあ、確かに。どっからビッグデータなのかは、
会社によっても違うだろうし、知りたいな。
言ったもん勝ちだよね。
まあでも、明らかに今回のボストンの住宅データは
ビッグデータとは言えないかなと。
ああ、スモールデータね。
スモールデータでやりましょうと。
はい。
いうとこで、住宅データの主流が今ボストンデータじゃないか
っていうところが、あと2つ理由があってですね。
いっぱいあるね。
1970年代だよっていう、古すぎるっていうのが1つですね。
はいはいはいはい。
そんな住宅の価格決める基準なんて、
1970年からそんな言うて変わってなくない?
まあ、言うて変わんないと思うな。
部屋の大きさとかによるし、
Cっていうなら、固定資産税っていうのが1個特徴領としてあるんですよ。
難しいやつだ。
その家を持ってたら、その家の価値に応じて何パー税金かかるよみたいな。
はいはいはい。
最近だとアメリカちょっと高くなってるっていう話もあるから。
なるほどね。
というところで、ちょっと古いよっていう話。
だって50年前のデータ扱って勉強してもなんかいけてないですよね。
確かに。
アポロが着陸したときぐらいよ。
月面着陸したときぐらいの。
なんかラジオでウェウェウェみたいな言ってるあのぐらい。
いや、そんなん使うなよ。
ポリコレとデータ削除
一番セクシーな仕事目指してるやつが。
そうだな。
確かに。
そう言われるとどんどんダサい題材な気がしてきたな。
もう1個が致命的で、特徴領の中にその地域の黒人の割合っていうデータが入ってるんですね。
へえ。
何人そこの地域に黒人がいるかっていう情報。
ここがかなり差別的な意図があるんじゃないかっていう話に広がって。
なるほどね。
アメリカでは厳しいよ。
ポリコレ、ポリコレ。
ポリコレって何?
なんか多様性の時代になってきた中で、
例えば、物語のヒロインに白人ばっかり使ってるやんみたいな話とか、
黒人全然出てこないじゃんみたいなところとかっていう偏りを、
もう誰が文句も言わないように鳴らしてキャスティングしましょうみたいな。
なるほどね。
作品でよくあるから、
ポリコレが行き過ぎたアニメーション作品とか見ると、
もうなんか訳わかんないくらいの人種のバリエーションが入ってたりとか。
どっちかっていうとコレクションしてもらう方なんだけどね。
アジア人も。
そうだね。
入れてもらう側ですね。
そうそうそうそう。
あとあんまり雑魚扱いしないみたいな。
とかは多分ポリコレの一部に含まれる。
そうなんだ。
じゃあその考え方に沿って多分データアップデートしようなんじゃないですか。
なるほどね。
データサイエンスにもポリコレの波がやってきてるわけですね。
やってきてるわけです。
大変らしいよ。
ポリコレを意識しすぎるせいで、
作品が面白くなくなるみたいな。
まあそうですよね。
全体的に平均値によっていくと何も面白くないですかね。
まあでもいいんじゃない。
データサイエンスって平均値出していく話だし。
そうだね。
確かに。
むしろポリコレとの相性は最高です。
このデータってPythonの機械学習扱うときのライブラリーがあるんですけど、
絶対一番最初にみんなが使うやつね。
データローダーかな。
あるね。
の中にデフォルトでデータセット入ってるんですよ。
入ってる。
で、ボストンのハウジングデータも入ってるんだけど、
ちょうどサイキットランがバージョン1.0とか1.2になるタイミングで、
もう非推奨になって、次からはこっちのデータにしてくださいねっていうところで、
ボストンからカリフォルニアにアップデートがかかりましたと。
そうなんだ。
カリフォルニアの方がなんかデータ見て面白いしね。
そうなの?
なんか多分そのなんだ、データサイエンス系は多分西海岸の方がもうちょっとこう対象がいいというか、
ビジネスに寄せるとね。
学術的な研究とかで言うと多分MITとかそっちもかなり強いから何とも言えないんだけど。
でもまあまあまあ西海岸の方が、そのデータを触る人口の比率もそっちの方が多い気がする。
そうだね確かになじみやすいのかもしれない。
そうね。
カリフォルニアの住宅データ。
まあいいね、ちゃんとこう寄せてきてくれてるのはめっちゃいいね。
でもこれまだ90年代の国勢調査のデータらしいです。
古いわ。古いわ。
なんでよ、アップデートしたのに。
20年アップデートしたけどね。
まあでも別にそれでどうしようって言われてもないしね。
まあね、確かにサイキットランってそういうふうにアップデートされるんだね。
ね、オープンソースなのにちゃんとアップデートしてくっていう方針が打ち出されるんですね。
確かに意外だったなそれは。
だからデータローダーみたいな。
みたいなやつだと、あとアイリスだよね。
ユリだっけ?
ユリ。
ユリか?あの花のデータですよね。
そうそうそうそう。
のなんか花弁の枚数とか。
はいはいはいはい。
のやつで、あれ何なんだっけ?何を予測すんだっけ?
おしべめしべ?違う?
花の大きさじゃなかった?あれ違ったっけ?
なんかあるよね。お花を予測するメルヘンなデータセットもあるじゃん。
学編の長さだ。
カリフォルニアの住宅データのアップデート
どこ?
ほらまたデータしか見てないから。
どこ?
学編の長さって言われてわかります?場所。
わかんない。
わかんないんじゃないか。
で、あやめがアイリスだよ。
あやめがアイリスか。
いろいろあるよね。データとしては。
だからまあ、データサイエンスどう勉強すればいいすか?みたいな質問が来るやつに関しては、
まあそこら辺見てもらうのが一番いいし、
ググればいくらでも出てくるし、やり方とか。
分析の方法なんて無限に出てきますよ。
というところで、
最近トナーはカリフォルニアの住宅データにアップデートがかかってますよってとこだし、
サンプル数も増えたんですよ。
さっき500サンプルって言ったけど、今回2万、2万640。
ビッグデータやん。
まあこれはビッグデータっすね。
ビッグデータ。
2万データ×8列。
8列!?
そう、そうなんですよ。
これはね、いけてないとこはね、特徴量が8個しかないんですよ。
え、ボストンより減ってるじゃん。
減りましたね。
ポリコレしようとしすぎて減りすぎちゃった。
そんなにポリコレ要素入ってた?ボストンハウジングデータ。
まあ可能性としては。
でもボストンハウジングデータそもそもいらないデータもありすぎたと思ってて、
生徒と先生の比率いる?
いや、ほら、メイクラブしちゃうかもしんないから。
それはコレクションしていかないと。
確かにいらないね。
でもわかんない、その生徒、その先生1人あたり60人持たなきゃいけない学校と、
30人の学校だとやっぱグレ方が違うっていうパターンは。
確かに教育の質が高いからこの地域、家賃高いよねとかそういう話ね。
あと先生も同じところに住めるぐらいもらえてるとか。
まあ確かに。
差別につながらない大丈夫?
そうだな。
教育格差助長する。
いや、それはあんのか。
まあでも、もう何でもポリコレだからな。
そうだよ。
だからもういらんものは全部排除しよう。
本当に家の価格を予測するのに重要なものだけにしようってなった。
で、8だ。
8。
えー。
でも結構いいデータありますよ。
家の蓄電数でしょ。
まあわかる、なんとなく。
部屋の平均数数。
平均数数。
何部屋あるかって話ね。
X、LDKのXね。
あーそうそうそう、あとは寝室が何個あるかとか。
大事なんだ。
世帯人数、居住人数、あとは移動経度か。
というところで、カリフォルニアのデータあるんだけど、
最初にカグルのチュートリアルでもこれ使われてますよって話をしたと思うんですけど、
これはカリフォルニアのデータじゃなくて、
同じハウジングデータ、家のデータなんだけど、
アイオア州っていう別の地域のデータを扱っていて、
特徴量としても79個。
で、データサイズが1000から2000程度になってます。
っていうところで、
住宅データって言ってもいくつか種類があるし、
扱われているものも違うから、
ちょっと注意が必要かなっていうのは今回調べてみて、
初めて知りましたね。
面白いね、それ。
だから、いきなりね、ボストンのデータ出してきた、
そういうスクールとかは注意した方がいいかもしれないです。
え?俺が言ってたところじゃん。
もう5年くらい前じゃない?
はいはいはい。
その当時カリフォルニアのデータなかったですからね。
まだアップデート前だから。
あー、そっかそっか。
じゃあまあ、旧世代の老外が喋ってると思ってくれればいいや。
今回の俺が。
ボストンハウジングデータの特徴量の使い方
なのでまあ、今さらっていう時に、
ボストン出てきたら注意かもしれないけど。
えー、それ注意だね。
うん。
ジジイだと思ってくれていいね。
そうね。
ボストンハウジングデータやったことあんの?
はい、ジジイを打つ。
そうね。
老外を打つ。
シャットダウン。
っていうところですね。
状況になりました。
僕はカグルのデータで最初このハウジングデータ使ったんで、
79個の特徴量があって結構ヘビーだなっていうのを最初に感じたんですけど。
でも79個も特徴量使わないよね。
学習していっても結局ほとんどは多分、
あんまり意味のないデータみたいな感じで判断されて。
そうそうそう。
あれ結局やでしょ?
部屋でしょ?
部屋の大きさでしょ?
そう、部屋の大きさがね、結局家の価格には直接寄与するっていうのは分析から分かってるんで、
本当に79個そのものは使わないし、
ちょっとなんだろうな、技術的な話をすると、
特徴量の中でも相関の高い特徴量が結構多くて、
だから2個特徴量あっても片方は必要ないよねっていう判断ができるっていう話。
ここは具体例を言った方が分かりやすいかなと思ってて、
例えば、ガレージに入る車の数とガレージの大きさ。
はいはいはいはい。いらんね。
これってもうそう、ガレージ大きかったら車って1台じゃなくて2台3台入るの当たり前だし、
どちらかの情報だけあれば十分だよねっていう。
これが相関が2つの特徴量に相関があるって話なんですけど、
そういうところを精査してみていくと、かなり特徴量を減らせることもできるし、
逆に組み合わせて新しい特徴量を作るっていう考え方もできるんだけど、
お家のデータでそこまでする?
ここではあんましないか。
モデルの精度を上げていくってなると結構やっちゃうのは、
頭使わずに聞きそうな特徴量を試測演算して組み合わせていくっていうのは、
それなりにカグラのハック術の一つみたいな感じ?
ボストンハウジングデータ分析の勘どころ
そうですね。仕事じゃ絶対使えないし、やったら怒られるんだけど。
1%でも上げたいときね、精度。
そうそうそうそう。
最近のモデルってもう大量に特徴量使っちゃえば、
モデル側でいるものいらないもの勝手に削ってくれるっていうのがあるから、
脳子でいっぱい特徴量作ってモデルにぶち込んじゃうっていうやり方は、
初手としてはやったりしますね。
なるほどね。
それどうなんだろうね、カグラの人とか。
今度カグルグランドマスター呼んでくるか聞こうか。
そうですね。どっから手をつけるかっていう意味だと結構知りたいかも。
グランドマスターなんてね、一握りでしょ?世界中の。
そうっすよ。
一つまみぐらい。
最強じゃんもう。呼ぼ、すぐ呼ぼ。
そういうデータの分析の勘どころみたいなところは教えてほしいですね。
面白いね、いいね。
ボストンハウジングデータ更新されてるの知らなかったから、それだけで面白かった。
よかったっす。
あと俺払ったお金がちょっと無駄に感じてきたね。
でもいいね、これいい教訓だと思うマジで。
ボストンハウジングデータばっか教えてくるやつは、時代遅れの老害である。
これが今日のまとめですね。
まとめですね。
良い先生と悪い先生の見抜き方がわかった。そんな回ですね今日は。
住宅データ知ってる?って聞いてみるといいと思いますよ。
あれだよ、ボストンハウジングデータでしょ。
はい、おつ。
Windows派ですか?
いや、Mac派だけどね。
Macって軌道、シャットダウン音するっけ?
軌道は、ブーン。
あ、そう。
ブーン。
一緒じゃない?
うん。
この番組と一緒じゃない?
全然意識してないけどあれ。
確かに全然意識してなかったな。
今日はこんなところで、以上にしましょうか。
意外とこれクロートの人でも、
え、そうなんだみたいな。
人に教える時変えようって思えるだろうし、
初めての人は初めての人でそういうデータあるんだにもなるだろうし、
っていうところで。
はい。
じゃあ、次回。
次回ですね。
ウマが来ます。
おっと?
スペシャルゲスト、ウマです。
ウマタンっていうね、ネームで活動されている、
もうデータサイエンスで、
たぶん調べ物したら絶対に行き当たったことのある
Webメディア、スタビジとか、
YouTubeチャンネルですね。
あとはスタビジアカデミーっていうね、教育サービスも展開して、
動画見放題のサブスクのサービスだったりとかで、
データサイエンス勉強できるっていうのを運営してるウマタンに、
ゲストに来てもらって、
教育をいっぱいやってる人だから、
データサイエンティストになる時の処方、どんなんがいいのかとか、
最初の勉強の始め方とか、
よく言われる質問とか、
そういったところをね、収録してきてるんで。
なんならこれの前に収録してきたね。
そうですね。
いや面白かった。
またね、いいゲストだったなっていう。
やっぱゲスト選定結構いいと思うんだよね。
自分で言うのもなんだけど。
いや、いいっすよ。
僕のファンばっか連れてきてくれる。
逆か。僕がファンの人を連れてきてくれる。
ポッドキャストをね、うまく。
俺もそれで宇宙話の方で好きな人たくさん呼んで、
ただ喋るだけっていうのやってたりするから、
ポッドキャストは俺らが会いたい人呼んでいきましょう。
いや、ぜひぜひ。
で、次回はウマタンに出てもらって、
データサイエンス取り組む、
初歩の初歩の話から、
データサイエンティストから起業して、
プロダクトまで作って、
データサイエンスがどう活かされてるかみたいなとこまで話す。
結構ギュッと詰まった30分くらいになるんじゃないかなと思うんで、
次回も皆さん楽しみにしておいてください。
はい。
隣のデータ分析屋さん、今回も面白いなと思ったら、
フォロー・レビューよろしくお願いします。
番組の感想や質問は、
ハッシュタグとなりの分析屋となりのがひらがなで、
分析屋は漢字でお願いします。
また、概要欄に貼ってあるお便りフォームからコメントお寄せください。
ではまた。
ばいばーい。
