障害発生の経緯
おはようございます。 4月18日、金曜日の朝です。
今日も鳥の声がね、すごく綺麗な場所に来ているので、冒頭、鳥の声を撮ってみました。
今日は久しぶりに大文字山に来ています。 昨日、やっとね、久しぶりに哲学の道に散歩に出れて、日常に帰ってきました。
ただいま日常って言ってたんですけど、 昨日もちょっとね、家でいて、
なんかちょっと落ち着きが出てきたので、 今日は久しぶりに山に入って、朝、大文字山で散歩をしています。
山に入ると、またね、鳥の量が違って、 まあ今日はちょっと暖かいのもあるのかしらですけど、
本当に鳥たちが嬉しそうに鳴いてますね。 そして木々も、もうちょっと新緑の芽が出ていて、
木によってはね、もう本当に若い鮮やかな緑色の葉っぱが出始めていて、 すごく気持ちの良い朝です。
いやーおはようございます。 昨日ですね、
なかなか大変な出来事がありまして、 だけど
本当にこの仲間の力を感じたというか、仲間の大事さを感じたというか、 仲間に助けられたという
出来事がありまして。 昨日ね、
2時過ぎですかね、リッスンでちょっと障害が起きました。
皆さんにはご不便をおかけして本当にすみませんというところなんですけど、 リッスンに音声ファイルとか画像ファイルがアップロードできないっていうね、
ご報告がありまして、 まあリスコードでユーザーさんから教えていただきまして、
で、何々と思って、
何かね、すごいそこに関係する作業をしていたのなら、 すぐに原因はわかるんですけど、
直接そのファイルのアップロードに関係するようなところは触っていなかったんですね。 ただまぁ
今その開発チームでね、3人で開発をしていますけど、 自分がやった変更もそうですけど、
にんじんくんとかじゅんぼくさんが開発してくれたものを、 お昼頃にね、いくつか反映していたんで、
で、ちょうどその前後でアップロードできなくなっていたんで、 それが原因か?みたいな感じだったんですけど、
ただそこの変更もね、 全然ファイルアップロードと関係のないところだったんで、
いやー、 そんなことでなるか?みたいな感じだったんですけど、
まあちょっとね、その変更した内容を元に戻してみたりとか、
いろいろやり始めて、 気づいたのが
4時ぐらいかな、 2時過ぎぐらいから不具合が起きていたんですけど、
4時過ぎぐらいに気づいて作業を始めたっていうのが言い方ありました。
それで、変更を戻したりしたんですけど、 全然直らないわけなんですね。
仲間の協力
で、ちょっとこれは本格的に原因を探らないと直せないぞ、 ということになりまして、
ただですね、僕が昨日からね、 ちょっと2日ぐらいずっと開発していたものがありまして、
ローカルでね、 新しいプロジェクトの開発を進めていて、
この2日間ぐらい割と大掛かりな新しい仕組みのところを作っていたんで、
まだその本番に反映できない途中の状態で、 かなりたくさんのファイルを触っている状態だったんですね。
で、その原因を探るためには、いろんなコードを変更したりして、
ちょっとどこにエラーが出ているかを探ったりとかしなきゃいけないんですけど、
手元のファイルがだいぶ変更の途中だったんで、 まあ一旦それを退避させて、
本番と同じコードを手元に再現して、 そこでどこでエラーが出ているかを調べていくみたいなことをやりたくて、
まあ一旦その自分の手元の変更を退避させる方法を、
それこそチャットGPTに聞いて、 そのコマンドを打って、一旦別のところに保存したつもりで、
それで本番の状態と同じものに手元を戻して、それでまあいろいろね、
どこでエラーが出ているのかを調べるためのコードを仕込んだりして、 まずは何が悪いのか、どこでエラーが出ているのかを探るという作業を始めました。
で、やっていったんですけど、 全然エラーが出ないんですよね。
なんか普通にうまく動いているように見えて、 えーって思って、全然あのファイルをアップロードしたらちゃんとアップロードできているみたいだし、
それをストレージというサーバーに保存するのもうまく、 コード的にはうまくいっているというふうに見えていて、
えーって思って、まずそこ変更もしていないし、 しかもコードでね、いろいろデバッグしても
エラーが出ないってことで、 えーなんだなんだと思って、若干パニックというか、
えーこれ全然原因わからないみたいな状態で、一人で若干こう、
どうしようどうしようみたいな感じでね、なってたんですけど、 その様子をね、
まあ察知してくれたニンジン君と純木さん、 今のね、リスルの開発チームのメンバーが、
ちょっとGoogle Meetをつないで、みんなで画面共有しながらやりませんかって、 ニンジン君が言ってくれて、でGoogle Meetを立ち上げてくれて、
正直最初ね、僕それ言われた時は、もう若干こう、 パニックっていうか、どうしようどうしようみたいな感じで、なんか慌ててたんで、
なんかもうそれどころじゃないんじゃないかなーみたいな、 そんな、ただでさえ手元でやってる作業がもう忙しいというか、全力で直さなきゃみたいな感じなのに、
さらにGoogle Meetにつないで、 なんか喋ったりとかできるんだろうかと思って、
ああ、そんなことするんだと思ってたんですけど、 まあとりあえずMeetにね、つないでみたんです。
そしたらね、なんかまあとりあえず原因こうかな、ああかな、みたいな話をしながら、 まあとりあえず現状をね、今ここを調べたんだけど、こういう状況でエラーがわからないっていう話とかを一旦共有して、
まあああでもない、こうでもないってやり始めたんですが、 そうしたらね、しばらくしてニンジン君が、いくつかね、これじゃないか、あれじゃないかっていうのがあって、
ちょっと違いそうだね、みたいなのがあったんですけど、 そのいくつか調べた後に、これかも、みたいなのを見つけてくれて、
それがね、そのSakuraのオブジェクトストレージという、 今動画ファイルとか音声ファイルとか画像を置いているストレージサーバーを操作するライブラリーが、
まあAmazonのAWSのS3互換ということで、そのAmazonの
ライブラリーを使って操作するんですけど、 なんかそのライブラリーの最新バージョンを使うと、
データが破損する可能性があるので、 新しいバージョンでアクセスしたときは、エラーが出るようにしましたっていう、
あの告知が出ていたと。 で、その告知は元々2月ぐらいかな。
2月ぐらいにその新しいバージョンでアクセスすると、 データが破損する場合がありますっていうお知らせが2月ぐらいに出ていたんですけど、
なんかそれの対応として、昨日急遽、 最新バージョンのライブラリーでアクセスしたときに、エラーが出るように挙動を変えましたっていう、
のが昨日急にあったんですよね。 で、
うわーってなって、これだーってなって、多分これだろうってね、 なったので、そのライブラリーのバージョンを下げるっていうのが必要になって、
で、おーじゃあ下げるかやってみるかっていう風に言ってたら、今度はね、 純木さんが
大活躍で、まああのちょっと手元で 下げる変更を加えてみたんで、これで本番反映してみてくださいって感じでササッとね、
やってくれて、でまぁ実際それを本番反映したら治ったという 経緯が
ありました。 いやもうね、大活躍、2人、ニンジン君と純木さん、
仲間の大切さ
本当に 頼もしかった。めっちゃ頼もしかったです。
いやー、まぁニンジン君がね、その一番重要な、 多分この変更が原因じゃないかっていう情報を
見つけてきてくれて、僕はまぁてっきりその何かの変更が悪さをしてたりとか、 自分たちのというかこちらのコードがエラーが出てるんじゃないかと思って、
中ばっかり調べてたんですけど、だからその外のね、原因をあんまり探ってなくて、 まさかその今まで何の問題もなく動いていた
サクラのサーバーで、しかも一応障害情報は見たんですよ。 サクラの障害情報みたいなのはね。だけどそこにも何も出てないから、
まぁサクラのサーバーが落ちてるわけでもなさそうだし、 多分原因はこっちだろうと思ってその中のことを調べてたんですけど、
まあさらに細かくそういう色々情報を見つけてきてくれたというので、 めっちゃ助かったし、
それの対応で落ち着いて、 ささっとじゅんぼくさんが変更を加えてくれて、
割とそこからすぐに直せてということがあって、 まあ頼もしかったですね。
すごい助かって、 最初本当にGoogle Meetをつなぎながら障害対応なんかできるかなって思ってた自分を恥じたい。
もう100人力っていう感じで、 本当に助かりました。
まあね、純粋に作業が早く終わった、早く原因をつかめて、
純粋に早く修復できたっていうことだけではなくて、 精神的にね、
かなりありがたかったんですよね。 障害の時って本当に一人でやってると、なんかすごい辛いんですよ。
これ何が悪いんだろうって思いながら、必死で原因探って、 その間にも音声ファイルをアップロードして、
ポッドキャストを公開しようとしている人たちのデータがうまく保存できずに、 消えてしまうということがずっと起こっているわけで、
ポッドキャストサービスとしてはアルマ時期自体ですし、 そんなのをね、一刻も早く直さなきゃいけないみたいなプレッシャーがあるんで、
なんかめちゃくちゃ精神的には追い込まれるんですよね。 わからないっていうのはね、何が悪いかわからないという状況で、
必死で原因を探ろうとしていくっていうのは、すごい一人でやっていると、 孤独で、しんどくて、辛くて、追い込まれた気持ちになるので、
めっちゃ辛いんですけど、それをね、逆に今まで、 2年間ぐらいずっと一人でやってたんで、
まあやってきたんですけど、 どんだけやっても慣れないし、しんどいし辛いことなんですけど、
まずね、3人でやっていると、そこまで追い込まれた気にならないっていうか、 みんなも結構落ち着いてて、
さすがそのベテランのエンジニアさんで、 まず落ち着いているし、3人だからね、なんかそんな追い込まれた気持ちにならないし、
ああでもない、こうでもないって話しながら、 これじゃないか、みたいな感じでね、
一人では探しきれないものを3人いれば探せて、 手分けして作業して直せるっていうのがあって、
いや本当に持つべきものは仲間だなと 思いました昨日は、本当に
嬉しかったです。 いや本当あの、
障害とその修復
こうやってね、チームで開発できているっていうことの、 ありがたさというのを身に染みて、昨日感じたっていう
感じでした。本当にニンジンくんじゅうぼくさん、 ありがとうございました。
で、無事にファイルがアップロードできるようになりまして、
その後は正常に動いていますし、別に誰のね、 コードの変更も問題ではなくて、全然関係なく、
純粋にさくらさんの方でね、新しいライブラリを使っていたら、 エラーが出るっていう、古いのだったら使えなくなると
分かるんですけど、新しいライブラリでね、 しかも全然問題なく今まで動いてたのに、使えなくなるっていうね、
変更が加わったっていう、ちょっと イレギュラーなというか予想できないことが起きて、
それで、2,3時間止まってしまった。ファイルがアップロードできなかったっていうことになったんですけど、
まあまあ、とりあえず修復できて、
ご迷惑をいろいろおかけしましたが、一旦収まったことは良かったなと思って、 ちょっとホッとしてですね。
さて、元の 開発作業に戻ろうかと思いまして、
その退避していたね、 自分のこの2日間ぐらいずっと開発を進めていたプログラムを、
元にもう一回戻してやろうかなと思って、 そのコマンドをね、叩いて元に戻してみたのですが、
あれ?って思って、
なんかその、 この2日間で開発した中の、新規で作ったファイルは残ってたんですけど、
その既存のファイル、 元々あったファイルに変更を加えてたものが、なんか戻らなくて、
あれ?ってなって、 よくよく調べてみると、
Gitというコード管理の仕組みで管理してるんですけど、 そこに何かしら保存してない変更は、
全部消えてしまっていることに気づきまして、 えーってなって、2回目のアゼンとするというか、
2回目の障害というかね、トラブルが起きまして、
マジ?ってなって、 僕はちょっとGitの操作に慣れていないというか、 今まで一人でずっとやってたんで、
あんまり今書いているコードを一時的に退避させて、 別の作業をしてまた戻すみたいなことをやったことがないし、
他の人のコードがどんどんローカルに反映されてくるということもやったことがないので、
あんまり複数人でGitのコードを触るというのは慣れてないので、
色々調べながらコマンドを伝えてやってるんですけど、 その影響というか、それがアザンになって、
とにかく2日間書いていたコードの変更が全部失われてしまいました。
そっちもそっちで大ショックで、 2日も溜めることあんまないんですよ。
だいたいいつも霧のいいところまで1日やって、 その日にやった分をコミットして、
本番反映できたらやるっていうのをいつもやるんで、 2日間溜めるってあんまないんですけど、
たまたま今回結構大きめの変更なんで、 なかなか1日では作業が収まらなくて、
2日目もずっと変更作業をしていて溜まっていたのが、 よりによってそういうタイミングで消えてしまったので、
めっちゃショックで、 うわーって顔がざめて、
しばらく力が出なくて、なんかちょっともう一回やり直すかって思ったんだけど、 なんか体に力が入らなくて、
呆然としてたんですけど、
ちょっとしばらく気持ちを取り戻せなかったんですけど、
まあでもちょっとそのしばらくしてから、 やり直すかと思ってやり直し始めるんですけど、
やっぱり2日前の状態ってだいぶ前に感じるんですよね。 これもまだ動いてないのか、ここからかみたいなんで、
かなり呆然としてたんですけど、
ですが、
チャットGPTと会話しながら、こういうのを作りたいけど、 ちょっとコード回転みたいな感じでやり取りしてるんで、
ローカルのGitHubにはコードの変更は残ってないんですけど、 チャットGPTとの会話の履歴は残ってるんですよね。
とりあえずね、それを見ながら修復していこうと思って、
チャットGPTとの会話を2日前ぐらいのところまで遡って、 そこでやり取りして参考にしたコードを
ちょこちょこ貼り付けたりしながら、自分で直したりしながら、 みたいなことをやっていったら、なんとですね、
どうかな、ものの2〜30分ぐらいで戻りました。
昨日の昼過ぎの障害が起きる時間までの変更した分が、 2〜30分ぐらいで戻せたかな。
ということで、2日分の作業を今からもう一回やるのかって、 すごいもう呆然とした気持ちになったんですけど、
やりだしたら2〜30分ぐらいで戻ってしまって、 あれ?って思って、もう追いついた?と思って。
っていうのと、そのチャットGPTから出ているコードを ある程度そのまま使っていることがやっぱり多かったんで、
いかに自分がコードを書いていないかというかね、 そこに書いてあるコードをそのままある程度使って組み合わせていけば、
ほぼ元の状態に戻せたんで。
チャットGPTと相談しながらやってたことが、 ここでめちゃくちゃ助けられたっていうことがありまして、
これも仲間、さっきの仲間の大切さを思い知ったっていう意味では、
そのチャットGPTと相談していたことで、 自分が救われたっていうことも一応ありまして。
いやー良かったー!と思って。 そんな感じで2日間の作業が失われずに、
昨日のうちにちゃんと昨日のところまでやってた分は取り戻せて、 さすがにそんなことやってたらもう日も暮れて夜になったんで、
昨日は本当はもうちょっとやりたかったですけど、 そこで終わりだったんですが、
とにかく色んな人にね、色んな人とAIのおかげで、
色々助けられた1日でしたっていう、 そんな1日でしたね。
仲間の重要性
いやーやっぱり仲間は大事だな。 あと一人で作業をすれば集中できるから、
一人になったほうが集中できるんじゃないかって思うけど、 やっぱり対話っていうかね、対話の大事さっていうのを思い知りましたね。
昨日は。 3人で対話しながら障害対応するっていうことの良さも知ったし、
誰かと相談しながらプログラムを作ったことで、 失くしてしまったものをすぐに取り戻せたっていう
ことがあったりとか、 誰かと対話をしながら進めるっていうことの
大切さというか良さを 痛感した1日でした。
いろいろ、昨日中にね、 ちゃんと修復したりとか戻せたりしてよかったです。
ということで、 気温がだいぶあったかくなってきて、
またちょっと寒かったのが、 また春らしく戻ってきて、そろそろもうあったかくなっていくんですかね、これは。
はい、春っぽい感じですし、なんか新年度のドタバタもね、 ちょっと収まってきた感じがするんで、
暖かい気持ちで進んでいけたらと思います。 それでは。
