00:05
はい、始まりました。
tsunagimefmの第14回です。
tsunagimefmは、勉強会コミュニティ繋がりの方々をゲストに迎えて雑談するポッドキャストです。
まずは、ツイッターのハッシュタグについてお知らせです。
ハッシュタグはカタカナでtsunagimefmです。
ツイートお待ちしています。
今回で第14回目です。
今日のゲストは加賀さんと大和さんです。
順番に自己紹介をお願いします。
まずは加賀さんからお願いします。
はい、株式会社tverでSREをやっています。加賀と申します。
元々、web系の開発のインフラやSREを経験しています。
今、動画配信サービス、番組配信サービスのtverでオブザーバビリティとか言いながらやっています。
ツイッターは、あとたかunderbar0411でやっておりまして、
趣味はサウナとゲームとYouTuberという感じです。
本日はよろしくお願いいたします。
はい、よろしくお願いします。
続いて大和さんお願いします。
はい、大和と言います。
とある会社で今はエンジニアリングマネージャーの見習いみたいなことをしつつ、
一応チーム名としてはSREチームっていうものを作って、
社内のシステム、案件管理とか顧客管理とかするシステムの開発とか、
あとは運用チームのリーダーとかをやっております。
PHP前書いてたんですけど、最近Rubyとか、あとはフロントだとVueとかNuxtとか、
あとインフラだとGCPをいろいろいじいじとか、
テラフォームいじいじとか、いろいろやってます。
趣味、コーヒー、しょっちゅうツイッターとかにもあげてるんですけど、
コーヒー、豆からひいて入れて飲んだりするのが好きです。
よろしくお願いします。
よろしくお願いします。
今日はありがとうございます。お越しいただき。
よろしくお願いします。
さっき二人自己紹介してもらってSREというキーワードが出たので、
今日はふわっとSRE会かなと思ってるんですけど、
最初にエンジニアを今お仕事されてると思うんですけど、
エンジニアになったきっかけのあたりとか、
エンジニアとして今までどんなことをやってきたのかなっていうのとか、
そういうバックグラウンド的なお話が聞ければなと思ってるんですけど、
まず加賀さんからちょっと伺っていいですか。
そうですね。エンジニアになったきっかけと言いますと、
もともと中学3年ぐらいの時に、友達がパソコンを買ってもらったって言って見せてもらって、
パソコンすげえ面白いっていうところから始まりました。
コンピューターへの興味っていうのが。
その後インターネットに繋いだ時点で、多分ほぼ自分の運命が決まったと思っていて、
03:06
よくわかんないけどホームページとか見てて楽しいとか、
なんかいろんなものが動いてるとか、
そこからネットワークとかプログラムへの興味がどんどん増えていって、
進学してコンピューター系の学科っていうんですかね、学校に行って、
その時点で大体就職とか意識するじゃないですか。
その時に、その当時はプログラマーかインフラエンジニアかみたいな、割と二択みたいな状況だったんで、自分の周りでは。
なんかインターネットとかネットワーク面白そうだけどわからん、
プログラミングや!みたいな感じで、新卒の会社に入社したっていうのがエンジニアになったきっかけですね。
最初じゃあアプリケーション側から入ってるんですね。
そうですね、某大手SIRの下請けみたいなところで、ATMの中身とか作ってたりとか、
汎用機をいじってたりみたいな、よくあるコテコテのSIRでした。
そこからどんな風に技術的な変遷というか。
そうですね、最初プログラマーとして入社したはいいんですが、
なんか、やっぱり受託っていうんですかね、派遣ではない、受託みたいなところで、
お前入る枠本当は用意してたんだけど、なかったからちょっと調整しようみたいな、入社後の研修が終わって、
あれ?なんか話と違うぞみたいになって、いくつか細々した案件をやったんですけども、
あまり自分にしっくりくることがなくて、自分はコンピューターを触りたくて入社したんですけど、そういうのってないですかって話をしたら、
とある大手メーカーのサーバーの中身に入っているミドルウェアを検査する仕事がある、いわゆるQAですね、みたいなのがあって、
そこに行ったら、サーバーの組み立てまではいかないですけど、構成変更とかOSのインストールみたいなことがあったので、
割と今あるSREとかインフラエンジニアの始まりになったって、今改めて振り返ると思ってます。
じゃあ割と早い時期からそういうインフラ寄りの仕事をやってたんですかね?
そうですね、はい。
なるほど、なるほど。わかりました、ありがとうございます。
ヤマトさんはどんな感じなんですか?
僕多分、スタートは小学校4年生の時に父親がWindows MEのPCを買って、家にダイヤルアップのネットワークが引かれた、が多分スタート。
ダイヤルアップ、その後ISDN、ADSLといって、ADSLになった時の感動は未だに覚えてるんですけど、超早いと思って。
ってなって、結構いろいろパソコンを子供の頃からいじっていて、高校ぐらいの時に猫でもわかるC言語っていう本、ご存知ですか?
06:09
そういうのがあるんですけど、それでちょっとコード書いたら、なんか楽しいじゃんってなって、そのまま専門学校に入り、
専門学校でJava習ったりとかAndroidのアプリ作ったりとかいろいろやって、最初SIRに。
そんなに大規模じゃないところなんですけど、独立系のSIRに行って、金融系のシステムの保守開発とかをやっていましたね。
多分その流れが最初エンジニアになったきっかけで、最初ほとんど、最初からずっとなんでWebエンジニア、Webアプリケーションの開発ずっとやっていたので、Webエンジニアをやってたんですけど、
Javaなんですけど、シーサーⅡって聞いたことありますか?
懐かしいですね。
シーサーⅡで作られたアプリケーションの保守をやっていたりとか、オラックル11Gが新しかった時代に9iを保守していたりとか、ちょっと古いシステムの保守をやってたんですけど、
そこで基本アプリケーションだったんですけど、今に繋がるところで言うと、ネットワーク構成図を見るのが好きで。
なんかこことここ繋がってるから、こういったらもしかしたら裏道あるんじゃないのとか、いろいろちょっといたずら心にいろいろ見ながらネットワーク構成図、自分の全然保守範囲じゃないのに見てちょっと遊んでたりとかしてたっていうのが多分エンジニアの最初始まりですね、1,2年目ぐらいの時。
この3人はSIR仲間なんですね。
そうです、SIRなんです。
実は僕もSIRなんですよ。
最初はSIRだったんですよ。
そこからSIRからやっていくんですかね、山本さん。
僕SIR5年ぐらいやった後に、その途中客先常駐1年とか、客先常駐で24365の保守部隊とか経験してたんです。
夜11時に残業して帰って12時になって、さあ寝ようと思ったら電話が鳴って、さあ出社だみたいな。
つらいつらい。
あれつらいんですけど、それがあってその後にちょっと友達の誘いで地元の会社、地元に拠点がある会社に誘われていって、そこでいわゆるSIRじゃないウェブ系って言うんですかね、
ECサイト作ったりとか、物によってはホームページ作ったりとかみたいなやつとかをやって、そこで割と規模が小さかったんで、自分の責任範囲で自由にやれたんですよね。
これちょっとどっか入れてみようよとか言ったりとか、その時僕の中ではどっかよりLXDとかLXCっていう仮想化、コンテナではないVMみたいなやつがあるんですよ。
09:09
それを入れてちょっとお客さんに納品してみたりとか、意味を考えたらあれ多分失敗だったんですけど、ちょっとごめんなさいと思います。
あれ絶対保守しづらいだろうなと思ってるんですけど、まあやったりとか、そこで結構いろいろ自由な、SIRではちょっとやりづらいクラウドを使ったインフラ構築とかを減って、
今3社目にいるんですけど、3社目では本当にGCP使ったりとか、あとはRubyとかRuby Rails、YSQLとかそういう割とモダン、SIRにいた頃では絶対触らなかったタイプの開発を今いろいろやっているっていうところですね。
面白いですね、お二人の話、それぞれ特色があって。SIR始まりっていうのがなんか親近感あり。
インフラの知識って、まあアプリケーションもそうなんですけど、この仕事をやっていく上で技術的な知識ってめちゃめちゃ範囲が広いじゃないですか。
これまでどうやって身につけてきたとかあります?
自分の場合の話いいですかね。
自分の場合は、さっきの入社新卒時代から始まるんですけど、5年くらいQAやってて、サーバー触ったり好き勝手に触れるLinux環境とかWindowsサーバー環境があったんで、
ちょっと先輩に教えてもらいながらっていうのがあったんで、運良く教えてもらえてたんですけど、
そういうのを経た後で、今に繋がる経験のところってなんだろうって思ったら、一番最初のELPICって試験あるじゃないですか、Linuxの。
あれを受けたのが自分の中では結構意識が変わったと思ってて、今まで雰囲気でコマンドとかを叩いてたのが、
Linuxってこういうもんだよ、ファイルシステムってこうだよ、裏ではこういうので動いてんだよみたいなのをある程度体系的に学習して、
それでLinuxのサーバーってこうやって動いてるんだっていうのが分かって、その土台があってその上物っていうんですかね、
じゃあAWS、じゃあGCPみたいなところに進んでいった気がするので、
そのインフラの知識、最初どうやって覚えますかっていうところだと、やっぱりそのLinuxの勉強っていうところを自分は大事にするといいんじゃないかなっていう気はしております。
なるほど、いい話。あのELPICなんですが、ちょっと出ましたけど、僕去年かな、去年くらいにELPICとちょっと別れてLinuxっていうのができましたね。
12:00
ELPICってちょっとした日本でトラブルがあって、なんかちょっとあって、でLinuxっていうのが、ELPICを運営した会社がLinuxっていうのを作って、今2つあるんですよ、ELPICとLinux。
去年そのレベル1を取得したんですけど、あれバカにならないなと思ってて、さっき言われたように本当体系立てて勉強できるし、範囲は広いし、これはいいなって思わされながら思って、
別に資格試験を取ったから仕事に必ず役立てられるっていう話ではないんですけど、非常に広範囲でいい勉強になるなと思ったんで、あれは一つの手だなと思いました。
ヤマトさんはどうやって身につけてきたみたいなのってありますか?
多分僕、加賀さんと逆なんですけど、加賀さん今お話だと資格取ってなんか体系的に積み上げていった感じだと思うので、僕、仕事SIRでやってるときにインフラの構成図見るの楽しいとか、あとアプリケーションとウェブサーバーとDBサーバーを分けましょうみたいなPCI DSS的な話とかを、自分の趣味のアプリ開発でやろうみたいな。
ということを考えて、VPSサーバーを借りてウェブサーバー、APサーバー、DBサーバーをDockerとかLXDっていうのを使って分けて、きちんとロードバランスするものもないのにロードバランサーをちゃんと置いて、後ろのインスタンスはJavaで作ってたんですけど、その時の趣味のアプリケーションがJavaのインスタンスが2ついて、
基本的には両方に振られるんですけど、アプリケーションを更新するときは片方を落として、片方を上げてみたいな宿題リリースをできるようにするとか、絶対いらないのに宿題リリースをして、安定してリリースできるように無駄にするみたいな。
仕事でやってたことがすごいインフラ的なところの知識とか、全然自分の業務では関係なかったんですけど、ちょっと楽しかったので、そういうのを家で擬似的に再現して勉強して、こうやったらロードバランスができるよねとか、アパッチとか今だとエンジンXとか使ってますけど、アパッチでバランシングしたりとかっていうのを遊んで覚えてきたのが多分僕ですね。
ヤマトさんあれじゃないですか。勝手に育つ人じゃないですか。
多分そうですね。学べって言われたこと学ばない気はしますね。興味のあるところに突き進んでいくタイプなので。
最終的に今ドッカーでSUOM使ってクラスター組んでますけど、VPS今6台使って。
15:07
契約してるんですか?
SAKURAのVPS6台。
すごい。
ウェブサーバー、ドメインのIPアドレス、ドメインで振ってる、Cネームとかで振ってるウェブサーバーがあって、その後ろにドッカーが動いてるクラスターがいるんで、利用者が接続するのはドッカーが動いてるサーバーではないんです。
アパッチだけのサーバーにして技術的にウェブアプリケーション、ファイアウォール的な何かにするみたいな遊びをいまだにやってるんですけど、毎月7000円かかるんでそろそろやめようかなと思って。
ちょっと高いと思って。これだったらGCPの無料枠、クラウドランとか使ってやったら数百円で済むわと思って。
すごい。感心する。
そんな遊びしてますね。
でもあれですね、VPSを今使われてるって話しましたけど、僕らの時ってだいたいどこのご自宅にも自宅サーバーというものがありまして、僕も多分に漏れずやってたんですけど、今思えばなぜか絶対に必要のないLDAPサーバーが自宅にありですね。
やるやるやる。
僕もやったかもしれない。
アカウントをどっかのサーバーで一個で作ると全部のサーバーにログインできるみたいな。
そういうの好き。
無駄なことしてましたね。
ダイナミックDNS、DAISとか使って外からつなげるようにしたとか。
ありましたよね。
やってました。
ダイナミックDNSやってましたね。
それでいろいろ遊んでましたね。懐かしい。
そんなことをやったのは今の知識につながっているのかもなとはちょっと思いますね。
そういうところが多分スタートになって、そういう興味を持つところからスタートになって多分今もやってきているので、興味ないこと全然できないんですよね。
難しいなと思うのは僕らはそうやって勉強をやってきたわけですけど、駆け出しエンジニア的な人たちにどうやって勉強したらいいですかって聞かれて、
でも自宅サーバーとかVPSで勉強したらいいよって言っても刺さらないじゃないですか。
そうですね。
どうアドバイスしたらいいのかなと思って。
いやーそれ難しいね。
その辺すごく難しくて。
もしかしたら後でコミュニティの話とかするかもしれないですけど、コミュニティの若手エンジニアの方とお話ししてた時に、
同世代の方ってエンジニアやるとしたらどの領域にみんな食いつくんですかねみたいな話をしたら、
やっぱその動いているものがすぐ見れるっていうのが大事らしくて、
18:01
そうなるとモバイルアプリケーションとかフロントエンドみたいなところはやっぱ人気ですねみたいなお話を聞いたんですよ。
なるほど。
で、じゃあサーバーサイドとかインフラってどうだと思いますみたいな話を聞いたら、
まあやっぱその正直その学習しても動くものがないとちょっとモチベーションが保てないとか、
そもそも環境を用意するのに大変だみたいな話をしてたので、
今回のテーマであるその駆け出しインフラエンジニアどうするっていうところだと、
だいぶ根が深い問題だと思うんですよね。
そうですね。やっぱ何でしょうね、キラキラしないとダメなんですかね。
確かに。ちょっとキラキラはちょっと少ないから、
何だろうな、円の下の力持ちとか、
はバックエンドエンジニアとかインフラとかそういう下支えって言ったらそれはそれでちょっと語弊はあるんですけど、
なんかそのフロントで出すためのなんかいろいろな仕組みを作る人じゃないですか、要は。
あとはその安定して動かすためにどう努力するかとかっていうところだと思うので、
そういうところが好きと、
そうですね。で、しかも最近だとその、まあ例えばモバイルバックエンドアザサービスとか、
まあそのiabaseとかいろいろ便利なバックエンドってあるじゃないですか。
フロントとかモバイルだけ開発していれば裏側は、
SaaSと言いますか、そのフルマネージドでうまくやれるから、
自分であえて構築すればいいんじゃないかなって思うんですよね。
そうですよね。その辺はありますよね。
確かになんか、そもそもその経験したいしたくないじゃなくて、
経験する機械がほぼもうなくなっている、
そういう気がしますね。
いやいや、まあ、
なんかやっぱり、
あとは、
もちろん、
いる気はしますね
文教体制みたいな話もあって
その辺はありますよね
インフラに触る機会がないですよね
そう考えると、駆け出しインフラエンジニアの人はもう
1回会社とかに入っちゃって
その中で必要な知識とかを見定めて
自分で勉強していくしかないんじゃないかなっていう
割ともともこもない話になっちゃうんですけど
なんか事前に自分でっていうのは
だいぶ特殊な人じゃないとやれない気がしますね
そのスタート地点からインフラエンジニアってのは確かに少ないでしょうね
ない、あんまり聞かない気がしますね
これパットの方で話そうかなって思ってたんですけど
インフラエンジニアの採用的な話で言うと
たくさんいると思うんですけど
身近にいないじゃないですか
不思議といないですね
なんかどこにいるんでしょうねみたいな話なんですけど
21:03
どこに行ったらインフラエンジニアに出会えるんだろうみたいな
絶対いるんですけどね
採用とても難しいですよね
インフラエンジニアっていうところから
ちょっとSREっていうところに話戻るんですけど
やらなきゃいけない、見なきゃいけない範囲って広いじゃないですか
会社によってもどこを見なきゃいけないっていうのも
いろいろあると思ってて
そうなるとビシッとハマる人って市場にいなかったり
ちょっといけそうだからうまくやってもらおうみたいな感じになってて
なるほどなるほど
他の職種に比べて結構採用する側とかも
求職する側も結構大変そうだなっていう印象はやっぱりありますね
インフラエンジニアっていう名前もそうなんですけど
SREっていう呼び名も
呼び名はあるけどやってることは会社によっても全然違うじゃないですか
気を買うにもよるし
目指そうとしてるところにもよるし
全然全然違うんで
その辺があるから難しいよなと思って
細かく聞かないとそういうことなんだって多分ならない
SREってワードだけいっぱい
今なんか旧人とか見るといっぱいSREとか並んでるけど
うちの会社で言うSREみたいなのがあるじゃないですか
そうそううちのSREがいっぱいあるんですよね
そうそうそうそう
そこがやっぱ合わないありますよね
採用の話でいうと
フタ開けたら自社サービスの加賀さんみたいなSREもいらっしゃるし
逆に前見たのが社内のインフラを管理する人もSREって書いてあって
それはSREって呼べるの?みたいな
それはいわゆる上質的な人
なんか情勢に合わせて呼び名を変えた
そうそうそうそう
ありますよね
ワードが混ざるからやめてくれと思いながら
名ばかりSREの旧人が
SREとはこれですみたいな定義みたいなのも別にあるわけじゃないですよね
一応Googleが出してるサイトリーダーイエビリティエンジニアリングとかに
GoogleのSREはこういう感じです
表だからこういう感じですみたいなのはありますけど
あれってGoogleの話を一般的にしたものだと思って
やっぱ会社ごとに違うよなみたいなところに
会社ごとの信頼性って違うから
その信頼性っていう柱がそれぞれで違うところに立ってるんで
うちの信頼性はこれですみたいな
うちの信頼性これですってなった時に
24:00
僕の場合今SREっていう一応チーム名乗ったんですけど
ガンガン回収しますからねコード普通に
アプリケーションバグったら直したりとか運用作業をやったりとか
インフラ作業もやれるっていう
若干なんでもやがたのSREを僕みたいにやってたりとか
多分本当に多種多様
いい感じにSREの話題に変わってきてるんで
そこを深掘っていこうかなと思うんですけど
仕事でSREとか
香川さんがずっと言われてるオブザーバビリティ的な活動って
実際のところどう取り組んでいるんですかっていうのが
ちょっと伺ってみたいなと思うんですけど
ちょっと大きい話ではあるかもしれないですけど
さっき言ったように会社によっても取り組み方がいろいろ違うと思うんで
その辺りは聞けたらなと思うんですが
香川さんどうですか
具体的にどんなことをやってるのかとか
現職のTバーだとSREっていうポジションの人は
実際自分一人だったり
もう一人インフラエンジニアと言いつつも
SREみたいなことをやってくれてる人がいるんですけども
SREって一人なんですかその肩書き的なものは
そうですね
マジですか
将来的にはインフラエンジニアもSREにもやってること一緒だから
実体としては一緒だから統合しようって話はしてるんですけど
現状表だってはTバーのSREからですみたいな
1になっているんですよね
で一人でやれる範囲って
どうしても限界があったりリソースの問題があったりするので
結論としては目の前の問題を潰していくっていうところしかないと思って
その中のその一環で
例えばそのメトリックスをちゃんと取ろうとか
ログちゃんとしましょうとか
そのうちは今ニューレリックっていうサース使ってるんですけど
そこに情報集約して
そのサービス全体の信頼性がどうなのかをちゃんと可視化して
社内に共有するみたいな活動を自分はやってます
なのでさっきSREの幅広いところを見なきゃいけないっていう話をしてたと思うんですけど
今私が見ているのは実際そのフロントエンドのアプリケーションとかモバイルアプリケーションのエラ率とかクラッシュ率とかパフォーマンスも見てますし
もちろん当然バックエンドとかインフラ周りも全部メトリックスとか情報は見てるので
割と広く浅くみたいな感じでデータを取ってますね
だから逆にやらないこととしてアプリケーションコードに手を入れて回収するみたいなことは自分は今全然やってない
なるほど
27:00
さっきニューレリックっていう話がちょっとチロッと出ましたけど
ニューレリックって触るきっかけみたいなのって何かあったんですか
こんなゴリゴリ使うみたいな風になるまで
そうですねもともと自分はデータドックっていう別のサースが大好きで
もうカガといえばデータドックみたいな感じで言われてて
そういうイメージがあったんですよね
そういうイメージがある
あれ最近ニューレリックなんだと思って
去年ぐらいはもうそのデータドックのイベントの登壇枠とかもいただいたりしてたんですけども
ちょっとTverの方でもう昔からニューレリックさんとお付き合いがあって
もうここで可観測性担保をしていきましょう
オブザーバビリティをニューレリックを使っていきましょうっていうお話になってて
だからその転職するときもうちの技術スタックとか使ってるサービスってニューレリックでCDKでうんうんなんだけど
そこは納得してもらえる大丈夫みたいな話をしてもらって
今までデータドック使ってきた自分からするとニューレリックっていう新しいサースに触ることはチャレンジなので
そこは全然問題ないですって言って今ゴリゴリニューレリックを触ってる感じです
なるほどそういう経緯だったんですよなんかスッキリしました
いやデータドックの話も聞こうと思っててあれなんでと思って
データドックもまだ好きです
まだ好き
まだ好きです今の彼女と前の彼女みたいな感じ
ちょっと前の彼女が忘れられないみたいな感じです
めちゃくちゃ残ってるじゃないですかこの辺
そうですね未練が
未練めちゃくちゃ残ってる
いやそっこクリアになってちょっとスッキリしましたね
気になってたんですよね
いや面白かった
そうそうヤマトさん的には会社で取り組んでるSREのお話なんですけど
確かあれでしたね去年だったかなチーム的なものができたのかな
そうですそうです去年の10月ぐらいに2人で立ち上げて
社内のシステムの開発をやっているので
社内システムの速度
結構2020年に作り始めてまだ全然結構ボロボロ
ボロボロって言うとちょっと怒られるんですけど
結構勢いで作ったところがいっぱいあってですね
直しがいがありすぎるシステムにもなってまして
それを良くしていこうっていうタイプのSREなんで
スタートは改善チームみたいな
保守改善チームっていう名前だったのが
なんかかっこ悪いな
なんかとりあえずなんかかっこいい名前つけようよって言って
SREって名付けたのがスタートなんですよ
そこからインフラ的なところの
チューニング的なところやっぱレスポンス遅いと
社内システムで使っている社員の人の生産性を落としちゃうので
このAPA10秒かかってるのやばいだろうみたいなやつを見つけて
30:01
直してDBのインデックスあったりとか
エクスプレイにひたすら叩くみたいなことをしたりとか
っていうのでも僕の場合は対象的にコード直したりとかをしたりとか
あとはインフラ的な構成変更して
これだとボトルネックになるから
ここの処理だけ別のクラウドランっていう
マネージドのサーバーレスのコンテナ動かすやつがあるんですけど
そこを立ててそっちに逃がして
フロント側のアクセスはスカスカの方に通してあげようみたいな改善をしたりとか
割とインフラフロントエンドバックエンド全部ごちゃ混ぜにした
改善をいろいろやってますね
あとはオブザービリティっていう意味だと
若干ゴテゴテにはなってしまってるんですけど
なんか問題が起きた時にこれ起きた時にすぐ検示できるように
ダッシュボードにグラフ作ったりとか
アラート入れてスラッグで通知くるようにしたりとかっていうのは
結構積極的にやったりとかしてますね
ボット作ったりとか
やっぱあれですね
会社によっていろいろ取り組み方違いますね
もうこの2人でもう全然色違い対象的な感じなので
個人的にちょっと大いめというか
本来Googleが提唱するSREで
コードを書くことでサービスの信頼性を向上していくっていうのが
本来のあるべき姿って言ってるので
個人的にはヤマトさんの活動の方が
自分の中のSREゾーンに近いんですよね
ちゃんとコードを書いてサービスの信頼性を上げていくっていう
そうですねエンジニアリングをもってっていうところがあります
そうですね
Googleが言うところはあれですもんね
アプリケーションエンジニアのこれまでの知識とか経験を元に
活用していこうみたいな感じですね
インフラの方も
そうそうそうそう
なるほどなっていう意味だとヤマトさんが
いろいろやって大変でしょうけど
大変ですね
近しいのかなっていうのは確かにありますね
いや面白いですねSRE話
全然色が全然違うから
あんまり他社の話って
一応この間SRE NEXTとかっていうコミュニティイベント参加したり
香川さんのお話とかも聞いたらインフラ構成図かっこいいとか
いろんなプロダクトのインフラ構成図見て
いやそうこういう構成作りたいのよとか思いながら見てましたけど
全然色違いますよね会社によって本当に
チームの規模とかそのプロダクトのステージとか規模にも
多分いろいろ寄ってくるかなかなと思ってますけど
なんか自由に問いろな感じですよね本当に
山本さんは僕の前の会社の同僚がやってるポッドキャストで
33:02
SREの話をされてて
その時に去年SREは今のところ楽しいって言われてたんで
その後どうなったのかなと思ってすごい気になってて
楽しいは楽しいですよ
継続してた
良くも悪くも自由にいじれるんで
その点楽しいんですけど大変ですシンプルに
シンプルに大変
ここを直したらあっちが崩れるみたいな
ここ良くしたらあっち崩れるのかそっかみたいな
じゃあ3プロダクトまとめて直そうみたいなことになったりとか
お祭りですね
ちょっと良い流れですね
インフラエンジニアとかSRE活動とかで
すっごい苦労した話とか
すげー失敗した話とか外に出せる範囲で
そうですね
自分の場合2つぐらいあって
1つは現職なんですけど
今Tverでインフラを管理してるISCツール
インフラストラクチャーアザコードのツールって
AWS CDKなんですよ
もともと自分はサーバーサイド2年とか
2.5年とかBHPやった経験はあるんですけど
がっつりプログラムをこれまで書いてきたかというとそうではないので
例えばアンシブルを書くとか
パッカーでイメージを作るとかテラフォームを書くみたいなのは
全然苦労はないんですけども
CDKって本当プログラムプログラムしてて
なんとかのコンストラクターを云々して
でこうしてこうして
なんで俺はS3を作りたいだけなのに
なんでこんな苦労してるんだろうみたいなのがあったりして
だからその同僚がやっぱすごいCDKかけて強い人なので
すいませんちょっと教えてもらっていいですか
どうやってどうやってやればいいですか
そこはこれをこうして
ここなんか参考実装あるんで
すいませんお世話になりますみたいな感じで
やっぱそのCDKのキャッチアップが結構厳しい
苦労してるっていうところは一つあります
で失敗談だと
前職がテラフォームでインフラ管理してたんですけども
まあそのタタタタってこう
インフラ構成変更のコードを書いてたまたま
データベースの設定を変更するコードだったんですね
でリリック投げてOKですって
じゃあ後でマージしてデプロイしますねみたいな話をしてたんですけど
ちょっと割り込みのタスクが入ってきちゃって
優先度の高いやつ
でごめんなさいちょっとあっちでやらなきゃいけないんで
これ後で終わったらやりますって言ってる間に
Aurora使ってたんですねその環境は
36:01
でAuroraってMySQLのオートマイナーバージョンアップグレードって
自動的にアップグレードする仕組みがあって
MySQL5.7.○○が裏でアップデートされてたんですよ静かに
でテラフォームのコードでそのバージョンまで含めて管理しちゃってて
要は差分が裏でこっそりできてたんですね
でタスク終わりました
やれやれちょっとじゃあデプロイするかって言った時に
そこで俺失敗したのがテラフォームプラン
要は差分のチェックをやらなくて
そのままドゥーンってアプライをしたら
あれお前差分出てると大丈夫か
わかんねえからインスタンス消しとくわって言って
ステージ環境のAuroraのクラスターは残ってるけど
インスタンスがいなくなってて
でもテラフォームエラー出るんですよ
なんか差分出てたから戻すでって
なんで
でそしたら母さんステージ環境見れないんですけど
確認してもらっていいですか500エラー出るんですよね
マネジメントコンソールから見たら
クラスターの側だけ残ってて中身なんもなくなってて
応募しとるし
おやおや何か起こってるぞって言って
こうちょっと冷たい汗が背中を伝って
出てたさっきエラー出てたな
お前消したな
テラフォーム君消しちゃったねインスタンスって言って
スナップショットから戻して
事なきを得ました
その日はもうずっと手震えてましたね
ステージ環境だったんですかね
本番ではなかった
本番じゃないかいわゆるデプロイフローとして
ステージングにデプロイ確認で次プロダクション環境
みたいなブランチ戦略だったんで
ステージで済んだのが急死に一生でしたけど
おかねー
怖いぞ本当になんかあれ
クラスターしかいない
いやクラスターしかいない
画面見たら怖いわそれ
いやもうだいぶ冷たくなりましたね
ちょっと今想像しただけでも寒いですね
やばい
そんな感じでございました
ユニブラエンジニアみんな凍りつきますよ
みんな凍りつきますね
怖い話が聞けました
夏っぽい話
ありがとうございました
ヤマトさんもそんな怖い話持ってるんですか
いや怖い話かビッグクエリーのテーブル消したぐらいはあるけど
いや十分じゃないですか
なんか投入する
CSVでブラウザからビッグクエリーに
データ投入しようと思ったら
テーブルに追記するっていう設定があるんですけど
39:00
本当はその追記する
後ろに乗っけるだけでやらなきゃいけなかったんですけど
テーブルを上書きするっていうオプションがありまして
全部消してCSVの内容にデータを切り替えちゃうんですよ
それ気づかないでポチってやったら
なんかしかもそれは本番なんですけど
社内システムだから許される
許されてはいないけどなんとかなるんですけど
使ってる人からあれなんか
ここの売上のデータが急にゼロ位になったんだけど
どうしたって言われて
なんか集計データがゼロ位になったんだけどって言われて
なんかさっき作業したなって言って
さっき作業したなもう一回見てみようって
あっ消えてるみたいな
でその経験のおかげでビッグクエリーの
タイムトラベルっていう
1週間遡れるんですよあいつ
テーブル名の後ろにエポックで
時間を指定するとその瞬間のデータが返ってくるんですよ
なのでその瞬間のクエリーを発行して
そのクエリーのままクローンのテーブルを作って
そのテーブルを上書きでコピーして戻すっていう
失敗から学ぶ経験はありました
めっちゃ寒かったですけど
なかなかアクロバティックなオペレーションですね
これでいいかな
でもこれしかないよねもうって言って
何万業までバックアップ取ってるわけでもないから
もう実質これがバックアップだから
これで戻そうって言って
すごい失敗から学んでる
そんな失敗はありましたね
あれは2年ぐらい前ですけど
未だにはっきり覚えてる
やべやったぞ久々にやったぞこれ
エンジニア9年目のエンジニアやっちゃったぞこれ
指差し確認とかだせえなって思うんですけど
バカにならないこと
あれはマジで大事です
ほんと大事だなと思って
ちゃんとよしって大事だなと思いましたね
読み上げてプロダクションだよって
プロダクションだからねって
リポートストーリーやってるねみたいな
やりますね今はもう本番リリースデプロイ作業
クロスチェックで
オペレーター役の人がいて
僕がクロスチェックやってるんですけど
もう画面共有しながらコマンド
よしよしよし大事大事
これは大事
これはSIR時代からやってたことではありますけど
そこその基礎って大事だなっていう
なんかSIRの時は
いやこんな1人2人でやんなくてもいいじゃん
自由にやったほうが絶対早いじゃん
とか思ってたんですけど
あれは大事だったなって今となって
学びですね間違いなく
僕は人生最大の失敗はですね
アプリケーションやってた頃なんですけど
インフラ作業も割とやってて
夜中から朝までシステム移行をやって
42:02
無事終わりました
切り替わったよかったねって
確認作業みたいなのを昼ぐらいに
ゆるーりやってたんですよ
ステージング環境とかの
後片付けみたいなことをいろいろやってて
その時にもう完全に気が緩んでたんでしょうね
DBの接続先をですね
本番の方をステージングのDBに向けちゃい
そのタイミングで購入が走ってしまい
数件だけステージングに購入データが書き込まれるっていう
地獄みたいなことを起こしてしまったんですね
NARUTOじゃないですか
逆だったかもしれねえからじゃないですか
いやーそれ最悪だな
5分ぐらいに気づいて
5分後に戻したんですけど
もうそのタイミングで買われてて
うわーやってしまったと思って
うわー在庫状況も違うだろうし
そうなんですよ
マスターデータも違うしステージングの本番
下手したら価格も違いますもんね
そうそうそうそう
でもとにかくひらはやもりですよ
最終奥義ですよ
あれが人生最大の失敗ですね
エンジンは人生の中で
そのミスめっちゃ怖いな
売上的なところもあるし
個人情報がステージングに本物が書かれるっていう
問題もあるじゃないですか個人情報的な
もう今寒い寒い寒い
テーブルのレコードを慎重にセレクトしてですね
本番に書き写すみたいなこの手でやりですね
あたたかみがありますね
その数件だけ
トランザクションがいかにも
アプリケーション上で発生したのにデータを作って
戻すっていう
いやーあれはやばいですね
よく聞く話ではあると思うんですけど
まあそうですね
向き先間違えるとかは
向き先間違えるのほんとやりがちですよね
そうですね
あとトランザクション切らないでデリートテーブル名で
ウェア書き忘れるみたいな
しかもそういうサーバーに限って
だいたいオートコミットがオンなんですよね
ロールバックできないっていう
俺一回聞いた
自分自身のミスじゃなくて
当時の同僚がやってたやつが
なんかアップデート分でデータ書き換えますね
みたいなのを後ろで聞いてて
あってあって言った後の
すいませんフェアク忘れました
全部書き換わってるな
いやーあれはなんか当事者私じゃないですけど
45:00
一瞬たぶん心臓止まりましたね
俺も
やばいっすね
トランザクションは生ですみたいな
いやなかなか夏っぽい話題を提供してしまいましたね
ウェアクなしはやっぱりリカバリプランがないですからね
トランザクションレコードだったらさっきみたいな
真心を戻すみたいなことできるんですけど
いやー怖い話が聞けたんでよかったです
非常に寒いです
さあさあ次の話題に行きましょうかね
どうしようかな
そうですね
カンファレンスとか
登壇みたいなところの話に行きましょうかね
さっきチラッとお話も出ましたが
川さんは去年とか今年とか
今年かな
あの忙しかったですね
なんか登壇活動
入社前から登壇決まってましたからね
言ってる意味があんまわかんないですけど
もともと事情があるんで
ちょっとその話をしてもよろしいでしょうか
はいお願いします
もともとTバー社で技術広報とかスポンサーとか
登壇してる人間ってあんまり多くなくて
その社内で2人ぐらい
1人はうちのバックエンド
1人はデータチームみたいな感じで
自分をリファラルで引っ張ってくれたのが
あのバックエンドの方なんですけども
さすがにもう開発も要件定義も
何もかもが彼に集中してて
もう発表もできんスポンサーもできん
ちょっとこれ1人でもう無理だってなって
で私が入社する条件として
そういう技術広報とか登壇とか
スポンサーとかお願いするけど
好きだから大丈夫だよねみたいな話で
全然慣れてる
はいはいOKOK慣れてる大丈夫
っていう条件で入社したっていうのが
まず当時の状況としてあります
でやっぱそのTバーエンジニア組織まだちっちゃくて
これから本格的にやっていきますっていう中で
やっぱそのスポンサーとか登壇で
プレゼンス出していかないといけないよね
みたいな話があり
その中で自分が話せる範囲だと
オブザーバビリティとかモニタリング周り
何やってんの
どこが課題だったの
どうやってやってきたの
みたいなところを話してきたっていうのが
今年の1月にニューレリックさんの
ちょっとイベントがある一つ
で3月にオブザーバビリティカンファレンス
っていうのがあり
で5月にSREnext
で7月にDev Summit
これニューレリックさんと一緒に
っていう感じだったんですけど
まあもうオンライン登壇にも慣れたもので
48:02
おかげさまで
いや把握してたのはその2回だったんですけど
ニューレリックのやつもあるし
Dev Summitも出てたんですね
いやーそうですね
大変じゃないですか
資料作り大変でしたね最初
やっぱそのうちのシステムいろんなものがある
いわゆるサービスとしてのTVer以外にも
テレビ局との連動システムとか
ID管理システムとかいろいろあって
そこをキャッチアップしつつ
何喋るかを資料にまとめていくっていうのが
なかなか厳しいというか
その全貌まだわからんなっていう状況で
認識を合わせつつ作っていくっていうのが
なかなか難しかったですね
その前職とかだと単一のモノリスサービスだったんで
構成これでサービスこういう感じですよね
じゃあこの構成図でOKっていう話だったんですけど
今それじゃないので
なかなか難しさはありますけど
やっぱ反応リアクションくれると嬉しいですよね
あのセッション聞きましたとか
あれめっちゃ辛そうでしたねとか
なんかこれすごい良さそうでしたって言ってくれると
やっぱ次も話そうかなっていう
あれが出ちゃいますね
そうですね
オフザワビリティカンファレンスについては
なんか記事とかもあってて
すごいちゃんとまとまってたんで
いいなーって思って
あのなんだろう
戸玉身を結んでるというか
こういう風に方法的に使える記事があるといいですよね
そうですね
もうやっぱ最近だと
あのSREnextと繋がりで
他社のSREさんと仲良くなって飲みに行くとかもあったんで
あとは最近Tverさん露出多くていいっすね
みたいなの言われるとやっぱ嬉しくなったりしますね
それはあれですね
香川さんの頑張りが影響してるんじゃないですか
サウナに2連泊して
夜中の広場で資料を作るみたいなこともやってましたからね
頑張ってる
ツメツメだ
しかもやっぱそのTverって
4月にサービスリニューアルしたんですけど
なんかその前後にこう資料が挟まると
空いてる時間は夜中しかないみたいな
そっかそっかそっか
そうなっちゃいますよね
もちろん仕事は仕事でしっかりやらないといけない
もう夜勤みたいな感じでしたね
昼まで仕事してちょっと夜勤で資料作らせてもらいますみたいな
意味がわからなかった
どういう勤務体系に
いやー結構その登壇が絡むと勤務時間とか資料作成時間とかも時間かかっちゃうんですけど
社内でみんな応援してくれたり
なんか登壇落つって言ってくれるんで
51:01
そこはやっぱり理解ある組織だし
やっぱ嬉しいし
次もやろうっていう気持ちにはなりますね
そういうのやっぱバックアップがあるといいですね
外から見てても楽しそうです
中田さん
なんか大変そうだなっていうのと同時に
楽しそうだなっていうのは見て取れる
楽しそう感はすごい伝わってきますね
ありがとうございます
よかったイメージ作戦成功
言っちゃった
実際楽しいです
社内飲み会とか交流も活発なので
そうですよね
山本さんはどうですか登壇予定は
僕カンファレンスで登壇はしたこと実はなくて
地方のちょっとした勉強会とかで
コロナ禍になってからオンラインでやるようになってから
何回か2回か3回くらい
僕札幌に住んでるんですけど
札幌でやってる勉強会にちょろっと出たりとかしたぐらいで
カンファレンスはまだLティームをやったことはなくて
ちょっと興味あるけど
いや仕事忙しいしなと思って聞いてたんですけど
香川さんの今の話を聞いたらいけるんじゃね
そうですね
夜勤っていう最終手段がある
そうそう夜勤しながらサウナ行けばなんとかなるんじゃないかって
今ちょっと思ってます
行けます行けます
実際しゃべるのは好きなんで楽しそうっていうのと
あとその地方でやった時も結構Twitterとかで
そのリアルタイムにみんな生でやってたやつなんで
リアクションが返ってくるのも結構やっぱ楽しい
いろんなフィードバックが返ってくるのと
あとなんかそれがためになったって言われたら
よし勝ちもうこれで今日は勝ちだみたいな気持ちになるので
やってみたいはやってみたいんですけど
ネタがいかんせいなんか
なんでこんなにみんなネタ出てくるんだろうって
本当に関心しますよみんな
みんな腕組みながらこうひねり出してるんですよ
何しゃべろっかな
一旦プロポーザル出すか
いや多分浮かんねーけどってやつはだいたい通って
結局資料作らざるを得ないみたいなところにあるんですけど
結構よくTwitterとかで見てるのは
その散歩してる時にアイディアが出るとか
お風呂入ってる時にアイディアが出るみたいな
そのちょっと普段と違う状況におくと
きらめきが生まれるぞみたいなので
そういうのよく自分はサウナを使ってますね
一人になって考えられるみたいな
頭もクリアになるみたいな感じです
サウナ行くしかねえな
サウナワークス大事ですよ
サウナワークス
初めて聞いた
今作りました
ニュー
いやかなりいい響きですねサウナオフス
サウナオフスいいな
サウナめっちゃ行ってますよね
そうですねだいたい週1で最低行ってますね
54:00
週1
週1ですね
あれなんですよ
俺が今住んでるところから徒歩5分で2軒サウナがあって
一つはいわゆる銭湯があって
もう一つはスーパー銭湯みたいな感じなんで
気分によって使い分けてますね
最近サウナブームで混んでしまったりするので
あー確かに確かに
そっかそっか
ブームですもんね今ね
どこもサウナサウナ
よくテレビでも特集されてますもんね
うん
川上さんもじゃああの
ツイートしてる
今リアルタイムツイートしましたはい
サウナオフス
あれですか
趣味はサウナが一番なんですか
じゃあ最近は
そうですねまあ前はその
カンファレンススタッフとか
まあ撮影スタッフカメラとか
まあやってましたけど
やっぱそのコロナ禍になって物理で
カンファレンスが開催しづらくなったってなると
俺の仕事ってなんだ
もうついに無職かみたいな感じになってしまいがちなんですけど
まああの
PSP界隈ではおなじみの長谷川さん主催のカンファレンスに
自分もあのスタッフ撮影とかでよく行ったりとか
まああの今年開催のペチパー会議は
初のハイブリッド開催とかやってたりするんで
まあなんかその感染者数が増えつつも
少しずつハイブリッドとかで
みんな模索してる感じがしますので
まあ自分の仕事もちょっと取り戻せそうかなっていう感じをしております
私が来月、来月かな?
ペチコンでLTの登壇者なんですよ
なのでかまたに行けるのか行けないのかみたいなのを
今すごい不安になってます
なるほどペチコンって今年は?
9月の24、25
そうなんですよ
連休3連休ですよね確か
3連休なんですよ
2日目からなんですよね
そこ行けるのかなどうなのかなと思って
まだ飛行機もホテルも決めてないっていう
なるほど
そんな状況です
行けるといいんですけどね
ですね
ゆるっと陽性の方が減ってきてはいるんで
大丈夫だとは思ってます
そうですね
その時期俺はあのちょっと入れ違いで
札幌に行くんですよ
なんだと?
9月17から
10月の8日にJaws Daysっていう
AWSユーザーグループのカンファレンスがあって
サテライト会場各地に用意しますって話を聞きまして
おそらくまだ発表されてないんですけど
おそらく札幌にでもあるだろう
なければ飛行機でもいいから行こうっていうので
すごいノリですね
3週間ほど札幌に滞在していく予定です
57:04
カンファレンス行くと楽しいですもんね
やっぱ刺激欲しいんですよね
オンラインとは違うんですよね
なんかディスコードで繋がって喋るのも楽しいし
あとはPetchBarRoomとかでオフィスで喋るのも楽しいんですけど
こないだ札幌から東京に行って
PHP会議参加したら超楽しかったです
めっちゃ好かれましたけど
めちゃくちゃ好かれました
これだよこれと思います
分かります
今カンファレンスの話しちゃっても大丈夫ですか
全然いいですよ
ちょっとSREとは離れちゃうんですけど
PHPカンファレンス福岡いつやるんですかね
これは俺毎年ネットに行っていきますよ
あのねその話は割とこのBotCastで何回か触れてるんですけど
やれたらいいねって濁してます
あれれれ
そんなんでいいんですか
やるつもりではいるんですけど
なかなかやっぱね会場が抑えるのが難しいですよね
抑えてできませんでしたってなるのがやっぱり一番最悪なんで
行くと思いますよ非公式で
あの東京からよく見知った人たちが
見知った人たちがあるでしょ
勝手に集まってくるタイプの人たちが
偶然出張できましたっていう手できますからね
きますね
ちょっと福岡の事務所に
こっちで仕事だったんでとか言いますもんね
なんか理由つけて福岡拠点にちょっと行ってきますって言えば
うん
そうなんですよ
チームメンバーいるんでちょっと顔見てきますって言って
行くみたいな
あのこの前あのイスコンの話をした回の時に
ちょうどあの仙台のスタッフの方と
あと名古屋でペチコンをやるかもしれない
みたいな話をされてた方がゲストなんですよ
その時に仙台と名古屋どうするんですかって言って
同じことやってるじゃないですか
難しいですよねーって言って
みんなうーんって同じ見解でした
やれたらいいよねーって
みんなやりたい気持ちはあるんですけど
やっぱりゲームが続くぐらい
ちょっと怖いですよねまだ
そうなんですよね
やっぱその会場で何か起きちゃうと良くない
そうですよね
やれるのはやれると思うんですよ
その後の対応がやっぱ
万の一をやっぱ考えちゃいますよね
ボランティアクリスでそこをやれるのかってのがあってですね
1:00:00
難しさがありますね
はいということで
カンファレスの話をしてるとですね
なんと1時間経っちゃいました
早かった
意外とあっという間でしたね
めちゃくちゃ面白かったんですけど
意外とあれですよ
あの聞こうと思ってた話は
割とまんべんなくいけた気がします
はいいただいたお題
ほぼ最後まで行きましたね
そうですよね
いやー素晴らしい自分とかもいるから
ナイステーマ選定
時間配分完璧でしたね
いやーここまで時間配分がマックと思ってなくて
押すかなと思ってたんですよ
ちょっと盛り上がるかな途中と思って
押す前提だったんですけど
ちょうどいい感じになったんで
盛り上がりつつもちょうど良く終わりました
うまいことできました
確かに
なのでこのあたりで締めちゃおうかと思います
はい
では第14回はこの辺で締めさせてもらおうと思います
最後にもう一度Twitterのハッシュタグについてお知らせです
ハッシュタグはカタカナでつなぎめFMです
ツイートお待ちしています
はいということで
今回のつなぎめFM第14回ですね
第14回は香川さんと大和さんにお越しいただきました
お二人どうも今日はありがとうございました
ありがとうございました
めっちゃ楽しかったです
楽しかったです
