最強のデータアーキテクチャについて
mutable.stream第9回。本日、司会進行というか、パーソナリティを務めるご団です。よろしくお願いします。
mutable.stream、今回もです。というか、いつも通りのメンバーでお送りするんですけども、自己紹介をやっていきたいと思います。chanyou、お願いします。
東京のスタートアップでデータエンジニア的なことをやってます。chanyouです。よろしくお願いします。
お願いします。じゃあ、流れるようにちょっと、てつじさんお願いします。
はい、xてつじこと大方てつじです。数学やったり、インフラやったり、プログラミング教育やったりしてます。よろしくお願いします。
よろしくお願いします。
あと、普通に開発と動画を作っているご団のこの3人で本日もお送りしていきます。mutable.stream第9回になります。
あと1回で2桁ですよね。
ですね。早いね。なんだかんだで。
なんだかんだゆるく。だってこれ始まっても今年の2月ですか?
そんな前か。でも見ると5月とかですかね。
今日結構早いペースで、早いペースって言っても1週間1本ってわけじゃないんで結構ゆるいとはやってますけど。
全く無理のないペースで個人的にはすごいいたさかってます。
そんなmutable.streamはもう今年は11月10日ということで本日は。
そろそろ皆様年の背が近づいて4月が近いという時期の収録ですかね。
そうですね。
mutable.stream一応なんかイベント関連中心にというラジオなので、一応なんか最近参加したイベントとかの話聞こうかなというのを思ってるけど、ちょっとじゃあ小ノートの上から行きましょうか。
はい。
じゃあ私かな。
ですね。
僕いくつかイベント出たんですけど、小ノートで書いて2つ目が話しがいがあるかなと思って用意します。
11月8日にあったみんなの考えた最強のデータアーキテクチャというイベント。
これはオンラインのイベントだったんですけど、参加というか視聴してきました。
これ以前ラジオでも話したデータテックっていうコミュニティがやってるイベントですね。
コンパス見るとすごいな。1224人先着じゃん。
すごいですよね。しかもフルフルじゃないですか。マインオンラインというか。
いう感じですごかったですね。
実際オンラインなんで一定キャンセル率とかはあると思うんですけど、
Zoomのウェビナー使う形で後日配信というかアーカイブ公開されるかされないかちょっとまだ見てみたいな感じで見させてもらったという感じですね。
個人的には仕事柄やっぱり僕自身結構データ扱ったりデータどう貯めるとかどう転送するとかっていうのを結構仕事的にはいろいろやりつつも
ようわからんというかそのベストプラクティス的なところようわからんっていう人が僕自身そうなんですけど
どうやら世の中的には結構そういうデータ転送とか考える人ってあんまり人材的にいないらしくて
いわゆるソフトウェアエンジニアとかと対比すると各社でそれぞれ採用も含めて四苦八苦していると
そんな中でベストプラクティスみんなようわからんなりにやってるというところで結構界隈でデータ扱うならこうでしょっていうところでは
割と知見が深いというか詳しい人が5名ほどかな登壇されていて
こういうの使うと便利になったとかこういう課題解決できたっていうのをいろいろとお話しするあのイベントでしたね。
なんか最近こうコミュニティーづかりじゃないですけどこういう勉強会があまりバズらないというか人来ない中この人数っていう時点ですごいんですけど
そうですね。
話の中身もかなりなんか濃そうですよね。
いや濃かったですね。中身的には
結構あのスノーフレークとか実は中の人とかがファシリテイトされてたりとか
中の実例でも結構スノーフレークを使ってますって人多くてですね。
そんなに便利なんだいいんだっていうところをなんとなく感じ取ったのと
おっしゃったのがそのスノーフレークめちゃくちゃサポートが充実してるらしくてですね。
なんか驚いたのがその
不具合じゃないけどこうなんか自分たち用のパッチを当ててくれたりとか
そんなことまでやってくれるそうですごいなというところが深いというか
すごいですねそのサポートが。
なるほどという。
後から大変になりそうって思っちゃう。
そうなんですけどどういうあれでやってるか枠組みでやってるかわからないですけど
結構そういうこともされていて
なんかその辺がビッグクイリとかと対比してやっぱりそういうサポート手厚いのってすごい良いよねっていう
なんかそういう評価とか聞けたりしましたね。
実際なんか中に登壇されてる方もチュラーデータの方とか
そうっすねー。
実際にその現場第一線でめちゃくちゃデカいデータ扱ってそうな人たちが
あとアートプロダクトとか
なんか普通にアーカイブを公開してほしいですね。
ちなみにこの集客のバズワードじゃないや
大きな集客の源泉っていうのはどこなんですかね?
話題自体がやっぱり目を引いたっていうことなんですか?
これ正直わかんないんですよね。
なんでこんなに人が多いのかっていう。
例えば人が多いときに最近出たプロダクトを扱ってるとか
あと一番わかりやすいのはスターエンジニアが登壇してるみたいなのがあるんですけど
今見てると第一線で活躍してるけど
誰か一人が突出しているっていう感じはしないんで
満遍なく話題から集まってくれた登壇者の方から
みんなが満遍なく人を集めたのかなっていう印象を持ちましたね。
そうですね。それはあると思うのと
このコミュニティ自体実はそんなに小さくはないんです。
メンバー1500人近くいてスラックもすごいアクティブで
これもこの間話しましたけど
いわゆるベンダー側っていうんですかね
Snowflakeの中の人とか
そういうデータ扱うソリューションを出してる中の人とかが
営業も兼ねてじゃないですけどそういうコミュニティに出て
デブレル的な活動をすごいやられていて
その紹介を受けてコミュニティに入ってくるっていう形で
いわゆるエンジニアの放課後集まるっていうよりかは
結構仕事の延長で来られてる方もいてやっぱり多いんだろうなっていう
そんな印象は結構データは使うっていう性質からも
なんとなく感じ取れますね。
インナーコミュニティじゃないですけど
つながりが強そうだなっていうと
さっき頭で言ってたみんなよくわからないなりに
頑張ってるって話が多分キーなんだろうなと思ってて
こういう話は発表する需要も聞く需要もめちゃくちゃあるだろうなっていうのは
一つ注意的面であるな
見てるとやっぱ面白そうだなってまず僕は考える
最強のデータ基盤ってキャッチーですし
あとあれですよね何も制約なく基盤作れるんだったらっていいですよね
そうみんな何の制約もなく新しいソフトウェアの
アーキテクトするんだったらどうするみたいな話絶対に盛り上がるし
普通に聞きたいなというのを今ちょっとタイムテーブル見てて思いましたね
あとはやっぱりこれ系知見がないというか
いわゆるソリューションとかサースとかってめちゃくちゃあるんですけど
それを全部味見して適切に技術選定するのって
なかなかハードル高くて
そのSnowflakeいいって話でもいいんだぐらいだけど
自社で例えばGCP使ってるんだったらビッグクイリーそれ使うよとか
最近でも実はレッドシフト熱いみたいなそういう話もあったりして
その辺でやっぱり個人でなかなか全部が全部
しゃぶり尽くすっていうのもまた難しいみたいなところもあったりして
趣味でトライしにくいというか
そういうところもオープンなんだけど
ちょっとクローズドな風味もあるみたいな
その辺のちょっと間だなという印象はありますね技術的にも
教育会とかあったら参加したいですね
これ教育会なんか思うのが
だんだんバックエンドとかデータ基盤とかも特に
なんか言われてますけど
人がなかなか入ってこないというか
人があんまりいないって感じしますよね
なので結構この話で結構共通点としてあったのは
いわゆるデータスタックというか
転送基盤特有の何かとかってやっぱ複雑になったりとか
それに対して詳しい人ってなかなかいない
けどSQLならだいたい書けるみんなみたいな
なんでそういったデータ基盤もいわゆるCICDちゃんと整備して
普段の開発だったりとか回収っていうのを
SQLをここのコードを変えれば
全体が変わるみたいな形で組んであげると
だいぶSQLしやすいというか
自分だけ面倒見なくてもいい状態にどんどんできるので
そういうところから広げていくのいいよって話は
割と共通項としてどの方も話されてたなって印象はありますね
できるだけみんなが知ってる知識に落とし込んで
負荷を下げていくっていう
個人プロダクトとか作ったりとか
個人的に開発やってたとしても
なかなかそのデータ基盤の話ってなかなかいかないというか
やっぱ会社で働いてないとなかなかできないところだなという
こんな大きなデータは会社でなきゃ得られないものだからね
そんな感じですかね私は
それっぽいまとまりができたので
JPAAWG 5th General Meeting
せいさんのほうにいきたいなというふうに
これ何て読むんですか
スペル大文字でJPAAWGって書いて
JPARGって運営の方々は読んでますね
JPARGの5th General Meetingっていう
名前通り今回が5回目のミーティングで
何を扱う組織かっていうと
いわゆるメッセージングを包括的に扱う
いわゆる確かAAってあれですね
アンチアビュースの略でいわゆるスパムの類を
防止しましょうみたいなノリで
ノリって言ったら失礼か
大体この組織が扱っているものって
いわゆるスパムメールとかを防止するっていう活動が主なんだけど
メッセージングってプッシュ通知だったりとか
いろんなものに多岐にわたっている
例えばワードプレスのコメント欄だったりとか
そういうものを包括的に対処しましょうっていう
JPAAWG 5th General Meetingの概要
活動しているグループらしいですね
見てきたのが2日間
11月の7日と8日で
最近の流行りでハイブリッドイベントになっていて
会場は東京じゃなくて長崎県の出島メッセっていうところと
オンラインのハイブリッド開催をしていたんですけど
さすがに私長崎県までパッと行けなかったんで
オンラインで視聴してました
全部見てたわけじゃなくて
忙しい部分もあったんで
かいつまんでいろいろ話を聞いてたんですけど
結構スポンサーさんとか登壇者の方を見ると
メールで有名なベンダーさんとかも含め
IIJさんだったりとかNTTドコモさん
KDDIさんだったりとかソフトバンクだったりとか
いろんな原子メールたくさん使ってますねっていう方々が
いろんなトークをしていて
最近原子メールの技術とかで
SPFだったりとかDマークだったりとか
Dキムだったりとかっていうような
技術がだいぶ培われてきて
いわゆるなりすましいメール防止の技術ですね
いうのが培われてきて
ドコモさんとかのトークでは
今までそういう技術導入に足踏みしてたんだけど
やっぱりSPF導入してるんだけど
効果がいまいちでDマークを導入しますとか
そういう踏み出しをやってますみたいな
トークが結構聞けて
やっぱり基礎が大事だなとか思いながら
聞いてましたね
最近トレンドなのがBIMIって書いてある
BIMIっていう仕様があって
これはあれですね
さっき言った電子メールの
なりすまし防止の各種技術
DマークだったりとかDキムだったりとか
さらに上に位置するなりすまし防止の技術で
いわゆる本当にメールに認証するっていう
じゃあどうするんだっていうと
SSL証明書を買うときに認証局みたいなところから
買うじゃないですか
それと同じような感じで
いわゆるわかりやすく言うとあれですね
Gメールとかでメール受け取ると
差出人の左側に
SNSのアイコンみたいにアイコンが出るときあるじゃないですか
あれGメールアカウントを持っていたら出るんだけど
Gメールアカウントを持ってなくても出しますよ
しかもちゃんと公式ですっていう公式ロゴを出すよ
っていうのの一般仕様ですね
そこに仕様あるんですね
ただまだインターネットドラフトの仕様なんで
RFCか何なのかな
まだ不安定で
Yahoo Japanさんってメールを受ける
ユーザーさんにメールアドレス配って
Yahooメールとかのサービスもあるんだけど
Yahooショッピングとかのメールマガを出すっていう
メールを出す方の立場としてVimに対応した苦労話をしていて
そこで面白かったなっていうのが
Yahooさんも商標
Yびっくりのマークを
例えばユーザーさんがGメールでYahooのメールマガを受け取ったときに
Yびっくりのマークを出すために色々やったんだけど
認証局から証明書を買うときに
そのロゴの商標をその企業持ってますよね
っていうことをちゃんとビデオ会議みたいに
認証局の証明書を買う企業と
やり取りするんですって
そうなんだYahooさん金持ってるから
SS証明書もお金かかるじゃないですか
そんな感じでお金払っておごりなのかなと思ったら
実はYahooJapanさんってYびっくりの
ロゴの商標持ってなかったらしくて
本国とは違う形態だからって
そういうやつですか
Yahooさんは米国のとか言ってたけど
2020年くらいって今もそうかもしれないけど
ベライゾンさんアメリカの
ベライゾンさんとやり取りして
ロゴの商標を買い取ったのか
どうなのか
うまく聞けなかったんですけど
ググってみると
インプレスさんとかでニュースが出てるんで
見てみると
これは2021年7月のニュースで
Yahooついに商標保険を取得みたいなニュースがあって
ニュースでは
Yahooを率いるZホールディングスとかが
包括的に日本でYahooのビジネスやるために
みたいなくだりだったんですけど
登壇された方が
Gメールとかでユーザーさんが受け取った
Yahooのメールマガの左側にYびっくりのロゴを載せるためには
商標を取る必要があったからみたいな話をしていて
そういう裏があったんだみたいな
結構ここは面白かったですね
その他
原子メールの新技術についてのトーク
電子メールに詳しいエンジニアって
そんなウェブの業界多くないんで
私結構昔電子メールのお仕事とかやってた
関連でいろいろ聞かれるんで
今のトレンドとかを聞いておこうかなみたいな感じで
JPRのミーティングに出てたっていうか
オンラインで視聴してたっていう感じでした
ちょっと長くなりましたがそんな感じ
めっちゃ面白いですね
これ手津さんどこ経由でお知ったというか
僕のツイッターアカウント結構
電子メール技術者を多くフォローしてるんで
そこ経由ですね
やっぱり人捨て多いですよね
この手のカンファレンスイベントは
ちゃんとアンテナ張らないとなという反省がある
プログラムも一緒に聞きながら流してたんですけど
Day2の取り組み面白いなと思って見ていて
中身というよりかはちょっとやり方の方に
中央にフォーカスが付き合うんですけど
ウェブラウンドテーブルっていう仕組み面白いなと思っていて
午前中多分2トラック2サイクル
で議論するようなプログラムが
組まれていて
これちょっと面白いなという
セッションオーナーが議論内容をまとめますっていう
それを後で発表というか共有しますみたいな感じのことをやっていて
一番最初にオープンラウンドテーブルの説明と
その議論の仕方とかルールの説明する時間が設けられていて
こういうカンファレンスでこういうのやってるの面白いなっていう
のを思いましたね
ちょっとこれもどっかでできしたいなっていうのを見てました
そうですね
10時から11時までの枠と11時から12時までの朝の午前中の枠で
2トラックそれぞれに
話題が設定されていて
Aの枠はスパムメールじゃないのに
判定されてしまう
擬容性を避けるためにはどうすればいいかっていうのと
Bの方ではスタートTLSとか
MTSDSという暗号化技術が
日本でまだ普及しきってないんで
普及するにはどうすればいいかっていう議論をすると
私朝早起き苦手なんで
ただAの方の後半から聞いていたんですけど
面白かったのはあれですよね
スパムメールメルマが出す人にとっては
自分のメールがスパムだって判定されたくないわけなんだけど
受け取る側としてはちゃんとスパムを防止したいっていう
ここの場には
メールマガを出す側と
ユーザーさんにメールアドレスを配って
メールボックスを提供している受ける側が両方いて
ちょっと戦いっぽい感じになったら面白かったですね
これいいですね
サイトの作りは学会前としているというか
オンラインイベントのトレンドとガスのイベント紹介
結構フォーマルな感じなのかなと思ってたんですけど
プログラムの方を見るとそういう話も含めて
カジュアルなイベントなのかなっていうのを聞いてました
プログラムを見てるとフィッシングサイトを落とさないと
夜のナイトだよね
どう見ても14時45分で
ナイトではない気がするんですけど
きれいですね
落とさミットナイトだと思うんだけど
これを言うと
いろいろバッシング受けるかもしれないけど
こういうメールの技術とかって
昔から携わってる人が多いがゆえに学会前とする
メールの技術とかって
完全にオープンな技術だから
この会社のAPIに従うとかじゃなくて
完全にRFCだったりとか
仕様ベースになるんで学会前してくる
年齢層がシニアだから
ちょっとシニアより上みたいな感じになると
夜の都合がつかなくなる
体の都合がつかなくなったりとか
ご家庭の都合がつかなくなったりとかで
イベントが早く終わるみたいな
そういう関連もあるのかなっていう感じはありますね
トラックツーの脆弱性とか
ほんまみんな気にしてへんきゃうのとか
これ面白そうだなと思ってました
本当は長崎のデジマンに行けば
この後懇親会が行われていて
いろんな方とコミュニケーションが取れたんだろうなと思うと
2023年は
もうちょっと身軽に動きたいなって思った
次のトピックいきますか
次のトピックに関して
これからのイベントの話なんですけど
微妙に手前ミスの宣伝があるんですけど
宣伝っぽいんですけど
宣伝しちゃいましょう
会社に何も言ってないんで
ただオープンな情報をしゃべれるだけしゃべるんですけど
Google Apps Script
画数ですね
のイベントをトラーのアナラボで開催するっていうので
一応働いているので
スタッフとして企画とか
お手伝いとか
今回登壇とかもする予定です
ガス
変なこと言えないんですよね
わかるぞ
ガスとは
いろいろ関わりがあって
自分もいろいろと遊んでいるので
それの話とかどこかでしたいなと思って
するタイミングないなと
ガスのイベントを
マップなんか入る手前
12月の6ですね
オンラインイベントやろうかなと思っています
これ実は今日の17時かな
公開したの
すでに登壇2つ埋まっていて
ガスの相変わらず認知だなと思いながら
自分は眺めてますね
収録は11月10日に行っているので
JPAAWG 5th General Meetingの概要
11月10日に募集開始して
開催が
2022年12月6日
Google Apps Scriptだったら絞ろうかなと
考えたんですけど下手に絞ると
行きづらくなるかなと思ったので
Google Apps Script関連で
発表したり聞く回を考えてます
発表は無理かなと思っているんですけど
1時間半くらい
心なしかできるだけ手前に
終わるといいなと思ってます
ちなみにこのテーマにした
理由というか
トラノアナラボさんで
結構ガスとか使われているのもあって
って感じなんですか
どこまで言っていいかは
点を見極めながら話すんで
社内の勉強会みたいな
社内の人向け勉強会みたいなもの
とかやっていてそれはエンジニア向けとかではなくて
他のエンジニア以外のメンバーとかに
勉強会とかでガスの
講習とかをやっていて
それやられた方に登壇お願いしてるんですけど
取り組みもやってたんで
社内需要はちょっとあるのかなっていうのが
1個あります
あとは何かネタを出してくると言われたので
自分のネタ帳からパッと出したというのが
あるんですけど
ガス
どうしてもレールスとか
GoとかDenoとか
めちゃくちゃ面白いし
それで人を来ていただけではいるんですけど
ガスってやるともうちょっとラフにみんな遊んでくれるのかなという
淡い期待が僕の中ではあります
自分がガスで遊びすぎてそこら辺の懲戒戦が
あやふやになっているだけな気もしますけど
ガスがいいのは
やっぱ誰でも
無料ですもんね別にワークスペースは買わなくてもできますよね
ワークスペースの話入れてますけど
別にワークスペースなくてもいいし
もう開発環境立てる手間もいらない
そう考えると
よく学生が勉強する
いわゆるソフトウェア専門じゃない学生が
プログラム勉強すると結構VBAとか勉強するらしいんですけど
あれエクセルがいりますよね
エクセルが必要ですね
お手軽です
分かりやすい特にスプレッドシートとかそうですけど
ビジュアルで楽になったりとか
ビジュアル的に出てくるじゃないですか
普通の開発でビジュアル的なものなんかやろうとすると
ウェブアプリケーションとかゲーム開発になっちゃいますけど
それってコストがかかるというか
一番最初の準備が時間かかりますけどガスはもう5秒で終わるので
確かにそうですね
UI出すのもコンポーネント含まれてますもんね
ガス（Google Apps Script）に関する話題
ウェブでそれやろうとするとそもそもウェブトアみたいなところを
学んでから行かないといけないから
確かにそうですよね
ガス面白いのが幅広いんですよね
別に外部APIとして組めますし
リクエストも投げられるんで
それこそディスコードのボット簡単なボットとかは
多分3秒で終わるんですよね
ウェブフックがあるのでそのウェブフックにポストするだけでいいんだったら
3秒で終わると思うんですよ
確かにさらにクーロンジョブ的なものも
パルクツの機能としてありって考えると
ゴジラ機能があるので
おもちゃというかスナバとしてはかなり優秀
じゃないかなと思います
しかもそれ書く言語はJavaScriptですからね
別にこれちょっとあれですよ
ちょっと別に喧嘩を打ちたいわけじゃないですけど
VBやってもVBからじゃあ他行きましょうって言って
VB.NETやりますみたいな話になるじゃないですか
いやもちろん今でもVB
VB.NETが悪いわけでは決してないんですけど
学んだことを
どこまで横に展開できるかみたいな
そういうとこですよね
VBと比べるとJavaScriptはちょこっとだけ汎用性が高いので
ちょこっとって言うとVBの人に怒られるのかなこれ
今度は
いやJSは多分汎用性の中では
王者みたいな言語だから
別にVBだから立ち打ちできないとかじゃなくて
多くの言語が立ち打ちできないじゃない
それはそう思います
他の言語はブラウザで動かないですからね
そういうとまた今度はWebAssembly業界から怒られそうですけど
12月6日ですかね
結構ラフな会員にしたいなと個人的には思っているので
もちろんコードオブコンタクトに引っかからない範囲で
ラフに申し込んでもらえればなと個人的には思っております
他の人に登壇依頼を頼むのがちょっと疲れるので
今回は自分で何も考えてないけどしゃべりますと言ったので
これからネタ考えるんですけどコミケの原稿書きながら
多分今回もふざけるつもりなので
気軽に見ていただければ
始末に入る手前ですからねクリスマスでもかぶってませんし
年末年始もないのであとYouTubeでやるのでね
作業BGMとして聞いていただければと思います
いいね早速申し込みましたよ
ありがとうございます
僕も裏で申し込みました
ありがてー
ネタ思いついたらLTに切り替えられるといいんですが
ちょっと風呂でも入りながら考えてみます
昨日の17時ぐらいに公開して
18時にはもうLT東大学2人埋まってるんですよね
すごいですね
すごーって思いながら
すごい刺さるなーという感じがしてますね
嬉しいですね
アイキャッチは例に漏れず私が作ったんですけど
ギリギリまで微妙だなーと思いながら
今改めて見て微妙だなーと思いながら
本番までにはサムネイルがもしかしたら差し替わってるかもです
5段のテストかなーって思いながら見てました
なんか我々最近分かるようになってきたんですよね
中途半端に素人くさいから
分かりやすいんだと思う
いやいやそんなことないそう
12月6日イベント盛り上がるといいね
そうですね
その前に自分がコミケの原稿やら追われてるので
それを語らないといけないんですけど
そうだよあと2ヶ月もないから今年
そうなんですよね
なんか一息ついてきょうど30分くらいなんで
どうしましょうジジネタ行くか
今日はここで一段落するかなんですけど
なんかしゃべり満足した感じはするんで
ここで
たまにはコンパクト
コンパクトとお茶しいですけど
何回があってもいいだろうということで
じゃあ本日はここら辺でお開きにさせていただきたいと思います
じゃあ次回もまたよろしくお願いします
本日はありがとうございました
ありがとうございました
ありがとうございました
