1. ゆるテク
  2. #0 システム監視の話
2022-08-10 34:16

#0 システム監視の話

spotify apple_podcasts

前半はシステム監視について話しました。

後半は心理的安全性に関する本が発売されるので、その話をしています。


Links:

・ZOZOTOWNにおけるDatadogの活用と、それを支える全社管理者の取り組み https://speakerdeck.com/tippy/2022-07-27

・When to kill the canary https://blixhavn.dev/when-to-kill-the-canary/

・最高のチームはみんな使っている 心理的安全性をつくる言葉55 https://www.amazon.co.jp/dp/4864108889/


ゆるテクは @junichi_m_ と @hacktk がゆるーく技術の話をするポッドキャストです。
感想は #yurutech をつけてツイートしてください。マシュマロから匿名でも送れます → https://marshmallow-qa.com/yuru_tech

Twitter:

・ゆるテク: https://twitter.com/yuru_tech

・@junichi_m_: https://twitter.com/junichi_m_

・@hacktk: https://twitter.com/hacktk

00:00
じゃあ記事について話していきますか
そうしましょうか
なんか今週結構記事読みました?色々
自分結構記事は毎週読んでるんですけど
今週からちょっとソースを増やしたんですよ
読む
今までだったら何だろうな
例えばTwitterで見た記事とか
RSS登録してるやつとか
あとはてなブックマークの新着とかそういう系を読んでたんですけど
daily.devっていうサイトがあって
そんなサイトがあるんだ
daily.dev
そこなんだろうな
海外記事をキュレーションしてくれるというか
ちょっと人気っぽい記事をまとめてくれるサイトないかなと思って
あんまり見つからなくて
でもこの間何かで見たんですよね
こんなんがあるんだったらこれでいいなとか思って
それを先週から見始めてしまったんで
めっちゃ増えちゃいましたね読む記事が
私も来週からこれ読もう
こんな記事あるんだ
いいですねこうやってまとめて色々見つけてくれると
色んな媒体探して興味ある記事見つけるのって結構コストかかるというか疲れるじゃないですか
そうなんですよ
たまっていくみたいな
なるほどなるほど
自分だったらそのAWSのリリースとか
ああいうやつはなるべく置いたいんでちゃんと読むんですけど
それ以外はもうこれでいいかなーぐらいの気持ちでちょっといますけどね
なるほどですね
今日出してくれてるカナリアリリースの記事も結構面白そうだなって思って
まさにどういう基準でカナリアって戻すのってすごく難しいなって思ったんですよね
難しいですよね
なんだっけな
カナリアのプロダクトとかだとあれじゃないですか
フラッガーとかアルゴCDとか色々使えると思うんですけど
昔直接ちゃんと触らなかったんだけど
パイプラインとかをゴリゴリ実装してた時に
やっぱりカナリアリリースするようなストラテジーの構造がしっかり用意されてるのをすごい覚えてて
おおはいはい
でその時は
なんだっけな
特定の一部のオプションに
名前が出てこない
URIとかを設定する多分APIの
APIを設定する場所があって
それを定期的にスクレイプするというかポーリングして
03:04
戻り値がどう一定の割合でどうだったら次の段階に進むか
ロールバックするかみたいな構造は見たことありますね
だからカナリアのタイミングだけのヘルスチェックみたいなエンドポイントがある
そうですそうです
多分準備する手なんでしょうね
なるほど
そんなパターンか
そのなんだろうなそこを叩いて結果が云々だけなら
それも微妙かなみたいなのがあって
新機能とかだった時に
決められたエンドポイントだけだと
その新機能が大丈夫かどうかって分かんなくないですか
おっしゃる通りだと思ってて
この決められたエンドポイントのカナリアのテストって
多分本当にシステム的なテストじゃないですか
このシステムが生きてるか生きてないかみたいな
それがエンドユーザーにとって異常な状態なのか異常な状態じゃないのかっていう判断って多分できないと思ってて
従来の方法だけだと
すごく私が全然関係ない別のところで読んだ
今日貼ってるデータドッグのなんちゃらデータドッグを活用するってやつで
外景監視を強化して事前に気づいてますみたいなことを書いてたんですけど
もしかして本来カナリアのロールバックってこういうところのチェックも本当はやらなきゃいけないのかなって思ってて
関係ないところの外景監視みたいなのも考慮に入れるってことですか
そうそうそれが今博多家さんがおっしゃったように
新機能だった場合ってその新機能に対する監視を別で入れるべきなんじゃないかなって思ってて
じゃないとエンドユーザーのペインポイントっていうか
エンドユーザーが使えなくなったことは分からなくないって思ったんですよ
そうです特にその分散システムだったら特定のエンドポイントだけダメでも
そうそうそう
それはちゃんとそこで大丈夫なようにしてあるから大丈夫なわけであってってことで
そうそうそう
よくエンジニアとかの指標で使うとそのSLOを定義してSLOが3・9割ってなかったらセーフなんじゃないかとかも
考え方としてあるかなと思うもののでもそれって3・9を割ってないにしても
ユーザーが本当に快適に使えてるかどうかっていう判断にはなかなかしづらいのかなって思ってて
06:01
それってSLOの定義の仕方がまずいのかそれともそこをSLOで見るべきじゃないのかが
どっちかというと今自分の中では高者寄りな感じなのかなって理解に最近はなってるんですけど
なるほどなんか最近じゃないかなみたいなやつで
最近のSLOを決めるときの基準にCUJカスタマーユーザージャニーかなっていうのが入ってきて
最近入った概念なのか分かんないですけど昔から言われてるのかもしれないですけど
サイト全体のSLOからSLOをするんじゃなくて特定のユーザーストーリーのAPIの成功率とか
ちゃんと最後までいったかとかそういうものをSLIにしましょうみたいなことかな確か
そういうパターンのときってちょっと話飛んじゃうの飛んでないとは思ってるんですけど飛んでたらごめんなさい
飛んじゃうかもしれないですけど結構デボプスで開発と運用見据えてちゃんとやりましょうみたいな感じじゃないですか
今って割とってなったときにそういうところのリリースした後にどういう風に監視をして
どういう指標がダメだったら切り戻しましょうみたいな定義まで全部ひっくるめて
もう実はデベロッパーが担うべき役割になってくるって感じなんですかね
なんか難しいですよね認知負荷めちゃめちゃ上がるなって思いつつも
上がりそうっすね
でもそこが分かるのって作った人たちなのかな
あるいは仮説を立てたときに仮説の指標を一緒に決めるから
そのプロダクトオーナーとかと一緒に序盤で決めちゃうものなのかなとかも思いつつ
ただでも誰の持ち物かっていう話だとやっぱり難しい難しいですね
デベロッパーにやっぱり意識してもらわないとSLOの意味がないってのはそうっすね
そうですよね
いやー確かになあ
そこで言うとそのSLOの指標とかその指標を取るためのツールであったりとかは
ある意味その認知負荷が上がる上がらないとかじゃなくて
そのプロダクトを作るデベロップチーム
デベロップチームというと表現がちょっと違うのか
09:01
ストリーマラインドチームの中のケイパビリティとして含まれるべきものになってくるんですかね
なんかちょっと大変なんじゃないかなとも思っちゃうけど
どこまで意識
でもそのチームでやっぱりも持っていてでも希望によるのかな
最近だとSREチームみたいなのを作るんじゃなくて
そのプラットフォームとしてそういうメトリクスが取れる状態だけ作ってあげて
そのメトリクスを見たりとか運用するのはちゃんとその機能を作っていく
今の話で言うとストリーマラインドチームが持つのがいいっていう風潮が最近は強い気がある
そうですね基盤というかサービス自体は別の専門のチームが提供するとして
それをうまく使う方法とかはあくまで自分たちで考えていくみたいな感じなんですかね
そうですねだしあれじゃないですか
あれでも難しいって今言ってますけど三沢さんのところは大体そんな感じになってませんか
大体そんな感じになってるとは思うんですが難しいと思ったのが
いくつかあると思ってて私が所属してたところって
どっちかというとそういうサービスを導入する専門のチームって話がさっきあったじゃないですか
その専門のチームの人がストリームアラインドチームの中に入ってたんですよねどっちかといえば
だからある意味職能横断的なストリームアラインドチームだったんだとは思うんですけど
そういう人がいる前提でそこに対してのコーチングとかティーチングも行ってたわけですよ
今話してて思ったけどじゃあそれはその専門チームが使えるようにコーチングティーチングすればいいじゃんとも今ふと思ってしまったので
意外と難しくはないのかもしれないですね
そうですね自分が知ってる動きだとその時三永さんは完全にイネーブリングチームの動きをしていた気がする
そうですねちょっと意識はしてましたねそういう
かつプラットフォームチーム的な動きもしていましたね
少ない人数でいろいろやろうとするとこうなるってやつですよね完全に
そうですよねツラ見だ
そうなんですよね
12:01
博武さんが多分その当初ストリームアラインドチームが本来花形だから
そこに対してもっと自分たちが花形なんだよっていうことを自覚させていかないとまずいっておっしゃってたじゃないですか
あの時って
どうなんですかねその本来花形であるべきチームなんだけど役割えと裁量があんまりないっていう印象でしたか
それともなんか
いろんななんて言うのかな役割を他のチームがもうほとんどになっちゃってその降りてくるものが
本当はと使うだけとか作るだけっていうこう
爆発感が失われちゃってたのかなっていう印象なのかあるいは全然違う印象なのかっていうとどういう
どうでしたかその両方かなと思ってますねなるほどねそうでしたし
あとメンバーのまだなんだなシニア
自分は技術力技術力って難しいですけど敵には全然問題はなかったと思うんですけど
メンタル的にまだシニアじゃなかったと思っていてあのチームメンバーが
なのでなんていうかもっとこう周りやこう君たちは最高だって言ってあげたらよかったんじゃないかなっていう
そのシンプルに自分たちに自信が持ててなかった感はちょっとありましたけどね
それはあったかもしれないあのそういう意味だと結構その
なんだろう自分が昔スクラムマスターとかをやってた時にすごく意識してるのは自分たちがうまくいったところを素直にまず認めて
俺たちこれうまくいったのすごくないみたいなことを結構言葉に出して言ってた気がします
それが必要だと思ったんですよねだから
それがもしかすると白武さんの感じた君たちは最高だよって褒めてもらうことに無意識的につながってたかもしれないですね
それがもっと自信とかそういうものが行動の大胆さにつながるじゃないですか
そうですね
なんかその辺かなもし難点を上げるとしたらって感じですかねチームで言うと
じゃあもし白武さんが結構じゃあそこに長くジョインすることになってたらまずはなんだろうそのうまくいったこととかできたことにちょっとフォーカス当てて
ポジティブな空気作っていくかなみたいなところですか
そうですかね
15:00
なるほどなあそうだよなあ
そうだ
だいぶ後の祭り感はありますが
まあまあまあでも今だからこそそういう話が聞けるとそういうところって大事なんだなっていうのをすごく再認識できるのでいいのかなと思いますけど
そうですね
いやまあなんだろうな人生が足りないというか
ぶっちゃけ楽しい自分じゃなくて水永さんがいればよかったと思うけどねあのチームにも
なんかこの間この間知ったんですけどなんかね私
嫌になって抜けたっていうふうに思われてたらしくてマネージャーから
なんかそういうのやるの嫌になったんじゃないのみたいなそんなこと一言も言った記憶はなくて
なんてことだミスコミュニケーションが
どっちかというとこれをいつまでも私自分がやってると自分がいるときしかそういうことができなくなっちゃうので
もう一人ぐらいというか新しくそういうことができる人を増やしていった方がいいですよねっていうつもりで抜けてったんですよ
よくあるあのほらスクラブマスターが卒業するとかってあるじゃないですか
ありますね自分をいなくするのがいいってやつ
いなくするのがいいってやつ
その手で言ったんですけどなんかどうやら全然違う解釈をされてたみたいで
あいつはもうチーム作りが嫌になったんだみたいな逆の意味にとらわれちゃったみたいな
ちょっとびっくりしましたあの伝え方が悪かったのかなって思っちゃいましたね
やっぱり会話が全てですなぁ
そうですね
いや本当に
なるほどなぁ
はいはい資料の話に
あそうだそうだすごい
すごいたくさん
クイクイってきましたね
いやでもこんなもんなと思います
そうこれ記事2つとも自分も読んだんですけど
うーんと
繋がったのはデータドッグこのゾトタウンのデータドッグの活用の話
はいどっちかというと2つ記事載せたんだけどホットなのは自分はこっちですね
えっとデータドッグの方ですか
そうですそうです
これ外景監視ってことだシンセティクスの方ですかね
そうですねシンセティクスの方とか
全然やったことないけどこの記事の中で書いてるサイトの健全性を数値化する
はいはい
に対してもうちょっとあの今の自分たちが使ってるデータドッグのそのいろんななんていうんだろ定義って
18:00
本当にこう使い始めて1年の中でちょっとずつちょっとずつこう改善して定義してきたものなんですけど
最近そこが割ともうなんだろうな硬直してきちゃったなって思ってて
でなんで硬直してきたのかなって考えた時に結構その障害が起こる時に
何とか今用意してるもので見つけられはするんですよ
はいはいはい
見つけられはするんだけれど
例えば気づくのが結構遅かったりとか
あるいはもう今用意してるもので全然もう気づきませんでしたみたいなケースが結構出てくるようになって
そうなった時にどこが今割と初期初期段階のままあんまり改善もされずにそのまま来ちゃってるなって
なってるかを考えると外景監視周りが一番手を加えずに来たなって思ってて
でそこをこの記事を読んだ時に
例えばこのぞぞたうんさんの記事だと全マイクロサービスに対してシンセティックス用意して
各マイクロサービスの要は正常性をチェックしてるわけですけど
なんかそういうことをやってもいいはずだし
もっと網羅的に自分たちのサービスを確認できるシンセティックスのテストを用意した方がいいなって最近思うようになった
なるほどって感じですね
外景監視自体は今なんか1テストもないんでしたっけ
1テストくらいはあるんですけど
つまりとそのシナリオだと気づけないものって結構あったねっていうのが現実だと思っていて
もしかするとそういう外景監視のそういうシナリオを作る時って
多分最初って本当深く考えずに
例えばアクセスしてログインしてここのメニュー開いたらいいんじゃねみたいな
そうですね感じが多分最初だったんですけど
今だったらじゃあ後ろ側にいるどことどことどことどこの現状性正常性をチェックしたいから
じゃあシンセティックスでやるべきシナリオって本当はこういうルートを通っていかないと
そういうチェックしたい項目全部はチェックできないよねっていうのを考えた上でシナリオを作り直さないと
あんまり意味があるものじゃなくなってくるな経過しちゃってるなって思った
確かにそうですねなんかモチベーションから作ってもいいかなと今思って
うんうんうん
21:00
何らか障害があってこれ検知できなかったなっていうんだったらまずそれを
これがあったら検知できてたなから作ると良さそうじゃないですか
まさにタイムリーですよ
あったんですよ
あった
あったからこそ自分が今ちょっとそこに気持ちがホッとになって
はいはい
あれを解決するには多分このソリューションかもしれないなって今なってる状態ですね
なるほどなるほど
そうそう
でいうことを今話しててちょっとまた脱線するんですけど気づいたのが
こういうのをもしかするとそのリアルな障害で気づくんじゃない
リアルな障害って言ってもリアルな障害っていう表現は正しくないけど
障害で気づくトレーニングがやっぱカオスエンジニアリングなんじゃないかなって
ちょっと繋がってきましたね
今完全にインシデントが起こってインシデント駆動でここを察知するためには
こういうソリューションを考えなきゃいけないなってなった自分のモチベーションを考えると
そういうのを定期的にかつ定期的に起こせるエンジニアリングって多分カオスエンジニアリングで
それをやるとこういうモチベーションが多分モチベーションと発見がいくつか出てくるんだろうなって
ちょっと繋がりましたね話してて
なるほどまだあの本読んでないんですけどそういうことが書いてありました
それに近いことは書いてあった
なるほど
ただあれかカオスを注入するだけの話じゃない何かが書いてあるんですね
注入するだけの話じゃなかった注入するだけだと思ってたけど
読もうかないっぱい積んであるんだよな
同じくですいっぱい積んじゃってて
なんだっけあれ組織を真からアジャイルにするも結局買ってしまったし
真アジャ
真アジャ
まだ1ミリも読んでないですけど
なんか最近あれだったんだよな1個
どれだったっけ
心理的安全性を作る言葉55という本があって
ありましたねありましたね
もう買いました?あれまだ発売されてましたっけ?
これはまだ出てちょっと待ってくださいね
一応リンクが貼ってあるんで開くと8月6日です
あ、明日じゃないですか
明日だ
誘惑するかな
パターンランゲージみたいな感じなんですかね
24:00
かもしれないですね55って言ってるくらいだから
55って言うくらいだ55って書いてる
へえ
心理的安全性を作る言葉か
これでもパターンランゲージみたいにあれなんですかね
こういう時こういうことを言うとなんかこういう効果があるよみたいな
ちゃんと構造化されてるんですかねこれ
うーん
されてない気もしますよね
なんかわかんないけど全然
なんだ試し読みとか説明とか全く読んでない状態で話すと
もしかすると対照的な言葉を並べたりもしてるのかなと思ってて
要はこういう時にこう言っちゃうと良くないよね
でもこういう言い換えできるよねとか
なるほど
よくあるなんだろうな
否定系なんじゃなく否定をするんじゃなくて
ちょっと軽く受け入れてから違う提案をするとか
あとはできないとかネガティブな言葉が出た時に
それをポジティブな言葉に変換する言い方とか
なんかそういう感じのことが書かれてるんじゃないのかなって
思ったりもしてますけど
確かに書いてそう
うん
これやってみて結果出なかったんですよねって言った場合に
じゃあやったおかげでそれが結果出ないことがわかったのは良かったですよねとか
そういうなんかやり方を書いてたりしないのかな
するのかなって
自分がそうするだけなんですけど
確かに三津永さんが言いそうだ
あとあれですよね
なんかこう
なんだろうな
その言い方もそうですけど
心理的安全あれですね
誰かがなんか言った時に
この人今ちょっと勇気を出して言ったなっていうのが感じられたら
なんかこう
あれですよね
ちゃんと受け入れるっていうか
そういうのしないと
次から言ってくれなくなっちゃうから
こっちが発する言葉だけじゃなくて
受け方みたいなのも書いてあると嬉しいなこれ
そうですね
勇気ある行動を無限にしちゃった瞬間も
多分それを学習して
次からやんないっていうパターンが再販じゃないですか
そうなんですよね
そこにそこに対してめげずにやってくる人は
もしかするとこういうのをやんなくてもそれがググググ来てくれそうな気がするんですけど
そうじゃない方が大半だから
そうですね
そういうの書いてあると
ちょっと頭の片隅に入れて
引き出しとして持っとくと嬉しいなって思っちゃいますね
27:04
こういうのってなんかあれだと思ってるんで
なんだろうな
ふっくりで聞いてくるっていうか時間がかかるんで心理的安全性作るの
うん間違いないですよね
読むなら早い方がいいんだろうなとか
思ってるけどなかなか読めない
なかなかそう
他にも読みたいものもいっぱいあるしみたいな
そうなんですよね
結構あれですか
博武さんこの本とかを読みたいっていうところで言うと
やっぱこうチームで開発する中で組織で開発する中で
なるべくそういう空気を作っていきたいなって常に考えてるような感じ
そうですね
その方が何かなんだろうな
全体のパフォーマンス上がるじゃないですか明らかに
まあそうそうそうですねそうですね
前のあのなんだろうな
自分がすごい過去にいたチームと
あの例えば三塚さんが自分が一瞬チーム同じだった時あるじゃないですか
一瞬ね本当一瞬風のように去ってくて
あの時のパフォーマンスを比べると
だいぶやっぱり心理的安全性がパフォーマンスに影響を及ぼすなってのは思うんで
そうなんだ
いやー思いますね
その
それって例えばその心理的安全性が
これは高い低いで表現するのか低い状態の場合ってやっぱ
どうなんですかねそのチームが例えば基本沈黙してるとか
そのコミュニケーションのタイミングが遅すぎるとか
なんかそういった部分に現れてくるような感じなんですかね
そうですね
なんか一回一回その自分の場合だと気持ちとか発言にブロックが入るというか
これ言って大丈夫かなとか
一瞬入るんですよねその低いと
大丈夫っていうのは例えばあの人これ言っちゃったら傷つかないかなとか
あるいはこれ言っちゃったらまた決まんなくなっちゃうんじゃないかなとか
そういう感じの大丈夫
そうですね
あとは最近ではなくなっちゃったんですけど自分がもっと10年前とかその時を考えると
こんなアホな質問していいんかなとかそういうのも多分あるんですね
なるほどなるほど
みんなわかってるてで話してるしなとか
30:00
ジャバって何ですかみたいな
だからそういうのって大体後で聞こうとかになりがちで
でなんか遅くなるんですよね
っていう感じですべてが速さに跳ね返ってくる気がするんですよね
確かにな
どうなんだろうななんか今の話聞いてて思ったのは
そういう場で全員が全員例えばじゃあ心理的安全性を意識してやっていきましょうってなるのって
最初からだと絶対そんな難しいかなって思ってるんですよね
一番最初って
でそうなった時に多分それとなく心理的安全性を高めていく
試作っていうかその罠を仕掛けていくわけじゃないですか
罠って表現よくないですよね
いろんなパッねちょっとずつ種をまくんだと思うんですけど
その種まきの時に使える言葉ってことなのかなもしかすると
それ系があるかもしれないですね
うんなんか言葉ってあんまり思いつかなくて実は自分は
どっちかというとその行動の方がイメージし自分はイメージしやすくて
その博武さんがさっきおっしゃってたこんな馬鹿な質問しちゃっていいのかなとか
っていうパターンって逆にそれをしてもいいんだよって思ってる人が
意図的になんかそんなこと聞いちゃうのってことをあえて聞いちゃうとか
よくあるプラクティスだし津田さんもしょっちゅうやってますよね
しょっちゅうやってますねそうそうそう
聞きますよね
それってなんとかですかってよくわかんないんですけど
やってるって思いながら聞いてましたよ
だから言葉なのか行動なのかで言うと自分はどっちかというと行動の方がイメージしやすいんですけど
さっきの本は言葉っていうぐらいだから
そういうことなんじゃないですかね多分
ちょっと面白そうだから
何ページだろう300ページって書いてる306ページ
まあまあまあまあだろう
電子版がないなんてことだ
紙媒体だけみたいですね今はね
仕方ない週末読めない
タイトルは心理的安全性だけどなんか
サシリテーションに通るところは結構ありそうな感じしますよね
あサシリテーションってあれですもんね別になんかその会議とか円滑に進める人みたいな感じだけではないですもんね
はい私のイメージだとその場の人たちが自分たちのベストパフォーマンスを出せるように
33:03
なんか場を作る
作ってもらえるような状態にする人みたいな
場作りのなんかそういう系ですか
そう考えるとでもそういう場って多分心理的安全性それなりに高いんだろうなって思うと
ファシリテーションとかにも
の一環としてもきっと使えそうな
使えそうですね気がしますね
なんか自分も結構その辺に期待してこれ読もうと確か思ってた
ので多分積んでると思うんですよねなるほどね
そう読んでみたいんだよなすごく
全部の本を1分で読めるスキルが欲しいな
私はあの食べたら頭の中に入ってくるスキルが欲しいですね
欲しい
そしたらめっちゃ食べるけどみたいな
よしちょっと今月頑張ろうかな
ちょうどいい時間かないい時間ですね応援にしておきますか
はい
じゃあありがとうございました
はいありがとうございました
おわり
34:16

コメント

スクロール