2025-08-04 15:18

第49回「過去の障害5選 (part1) 〜あのときは死ぬかと思った〜」

spotify apple_podcasts

第49回目のテーマは「過去の障害5選 (part1) 〜あのときは死ぬかと思った〜」です。

今回は、開発者なら誰しも一度は味わう“あのとき”を振り返る回です。

過去に実際に起きた5つの障害エピソードを、前後編の2回に分けてお話しています!

本エピソードで紹介している事例は、10年以上前のもの、または現在お取引のない案件です。あくまで“昔話”としてお聴きください!

------------------------------------------------------

▼ホスト:島田徹

▼MC :鴨志田怜

▼ゲスト:辰巳純基

------------------------------------------------------

▼お便りメール

メッセージをお待ちしております!

Googleフォーム: ⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠https://forms.gle/DCema6crfoux1ZAR9⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠

------------------------------------------------------

▼株式会社プラムザ のホームページ

 システム開発などでお困りの事があればお問合せ下さい。

⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠https://www.plumsa.co.jp/⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠

------------------------------------------------------

▼𝕏アカウント

⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠♯ふてはな⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠ 』で番組の感想、ご意見、質問など、ポストしてくれた投稿には返信することもあるのでぜひフォローお願いします!

 ・番組𝕏: ⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠@futehana⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠⁠ 

------------------------------------------------------

サマリー

このエピソードでは、過去の障害に関する体験談が紹介されており、システム開発におけるメールアドレスの流出や学習塾のデータリセットといった具体的な問題が取り上げられています。これらの出来事を通じて、開発チームの苦労やプロジェクト管理の重要性が語られています。また、ソフトウェア開発における過去の障害についても触れられ、インストーラー作成中のトラブルが特に強調されています。さまざまな技術的課題や解決策を通じて、開発工程の難しさと重要性が強調されています。

メールアドレス流出の事故
普天にするほど話したい。この番組は、システム開発25年の株式会社プラムザが、赤坂より開発現場の今と本音をざっくばらんに話していこうという番組になります。
進行はたしかもしだと、代表の島田と、賑やかし役の辰巳です。よろしくお願いします。
さて、今回のタイトルなんですが、過去の障害5選、あの時は死ぬかと思った、というタイトルになります。
今回に関しては、過去の障害について、島田さん、辰巳さんにそれぞれ聞いていこうという形になります。何かの参考にしていただき、また
参考になるのか。参考になるのか。おたきあげ会的な感じです。
聞いていきたいと思います。島田さんからお伺いしてもよろしいですか。どういったことがありましたか。
必ず開発会社がやらかしてますよ。うちが特殊というわけではないと思いますが。
1つ目の障害としましては、会員向けのお知らせメールでメールアドが流出しちゃったみたいな事故が。
これかなり昔の話です。これ俺が言うやつは全部10年以上前だからね。
これ説明すると、数千人の会員がいるサイトがあって、そこに対して運営からのお知らせメールを打つというシステムがあったんだよね。
システムの1機能でお知らせメールを打つというのがあって、当時はそんなにやり方が定まってなくて、
エンジニアの人がゼロから書いて、メールアドレスを2のところに変数に入れて、3千人いたら3千回ループを回すみたいなね。
一回送っていくわけですよ。ループを回すって分かるかな。
ループ、そういう意味のループだったんですね。連動キックボードかと思っちゃいました。
そんな最近の話じゃないですよ。
今みたいに一括メールのシステムみたいなものがないので、手作りで作って、ループというものをコードですかね。
だから今でいうAWSのSESとかSendGridとかがない時代だったってことですかね。
ないので、あってもやり方が定まってないんで、そうやって手作りでコードを書いたんだよね。
それやってて、1人でまず鍵を掴んで、2にその人のアドレスを入れて、メール本文をはめて、Sendみたいな感じでやるとメールが飛んでいくみたいな。
そうしたら終わったら次のループに入って、次の人のメールをセットして、また同じ内容をセットして、送信みたいなね。
それをずっと3千人いたら3千人繰り返すんだけど、
その2をクリアしないで送信してしまったので、俺らじゃなくてエンジニアがね。
そうすると、1人目の人は1回目に自分のところに来て、2人目に送る時にも自分のアドレスが入っているのでまた来ると。
3人目の時には、まだ自分もアドレスが入っているので送られてくるんだよね。
延々に送られてくると、もうメール爆弾だよね。
しかもですね、メールの2のところにはどんどん人の他人のアドレスが追加されていくというね。
見れちゃうんですね。
見れちゃう見れちゃう。2だからね。
PCCじゃないと。
ということで、俺はそのリストのテスト用に会員の中に初めの方にあったんで、俺のデータがあったんで、休憩してたらどんどんメールが来るんだよね。
メールを携帯にテストしてたから、これなんだろうと思って。
その時のエンジニアの人に、すごいメール来るんだけどって言ったら、うわーってなって。やった!みたいな感じになって。
途中で止めたんだけど、もうその時には1センチくらい送られちゃっていて。
で、あれですね。ひらやまりですね。
なるほど。2がどんどん追加していって、どんどんどんどんメールを送ってしまって、2してたので他の人のアドレスも見れてしまってっていう感じだったんですね。
そうですね。一応その組織の中の会員さんなんで、全く知らないアドレスじゃないんだけど、かなりヤバい話ですね。
なるほど。これはもうひたすら謝ってっていうところだったんですかね。
そうですね。でも担当の人はそのことの陣内線ちょっとわかってなかったみたいだけど、送られてきた人はかなりの迷惑だし。
スパム扱いになっちゃいますよね、アドレスがね。
確かに今で10年以上前の話っていうことであれですけど、今ほどそれこそ個人情報っていうものに対してあまりうるさくなかった時代だったのかなっていうところもちょっと幸いなのかなっていう。
おっしゃる通りですね。今はうちPMGの会社だし、そんなのやったらあれです。
学習塾のデータリセット
アウトですね。一括。
今はダメです。
ありがとうございます。では次どんどん聞いていきましょうか。
辰巳さんお伺いしてもよろしいでしょうか。
僕は島田さんほど歴もないのでそんなに障害を起こしていないつもりですけれども、ございまして。
これは今お取引はないんですけれども、学習塾のフランチャイズを運営されている会社さんの基幹システムがありましたと。
そこで北は北海道、南は沖縄までフランチャイズさんがいて、その人たちが共通でシステムを使っているんですね。
当然その学習塾なんで、学習の進捗みたいなのを把握して、じゃあこの単元が終わったから数学を新しく会の公式をやりましょうとか二次方程式やりましょうみたいな話になるじゃないですか。
それが全部リセットされちゃいましたっていうのがありましたね。
なるほど、レッスンの進捗とかも含めて全部消えてしまったってことですね。
消えちゃいましたね。今その生徒がどこまで進んでいるのかっていうのが全部わかんなくなっちゃった。
データをですね直近の回収にあいまってですね、一つカラムが追加されたんで、それに合わせてテーブルとかを差し替えるっていう対応をしたんですけど、
そのタイミングでそこに関連するテーブルがリセットされてしまった。
まあ当然ですけど、先ほどの島田さんの感じよりもっとエスカレートしている感じですね。
全国のフランチャイジーからですね、当然運営本部に連絡が来るわけですよ。
なんかシステムバグやばくない?どうなってんの?
私、辰巳のですね、担当から1時間おきに土豪を浴びせられるっていう状態にして、大変でしたね。
予動仕掛けて修正バッジみたいなのを作り、それで完全に修復までとはいかないんですけれども、
なんとか即席でプログラムを組んで、ことなきは得てないんですけど、
9割キューブ死んで、0.5割で生き残ったぐらいな感じですかね。
非常に解決の目処がなかなか見えない状態で、模索して即席で支給対応してて、なかなか大変でしたけれども。
健康診断中に連絡が来るって、地獄みたいな感じでした。
途中で終われねえよっていう感じだったんで、すぐ帰ってやりましたね。
これ結局は完全に修復とかはできなかった?
いかなかったですね。だけれども幸いですね、各学習塾さんでだいたい進捗を把握頭の中でしていましたと。
それがあるんで、ある程度戻したので、以降はなんとかしてくださいっていう力技で運営の方が、そこは取りまとめていただきました。
これも平山里というところ。
Windowsアプリの障害
平山里で瑕疵寄り持って、1時間ぐらい電車に乗り、お客さんに訪問しに行って、
その担当者は不在で、社長さんだけいたんですけど、その社長さんとは普段やり取りをするんですけど、
逆に島田さんみたいな感じで、その社長さんはあんまりそのことの重大さを理解してないというか、
そもそも話を聞いてなかったっぽくて、
お、とつみさん急にどうしたんですか?みたいな。
え、あれ?みたいな。
なんとかしたね、はい。
なるほど、ありがとうございます。
では次聞いていきたいと思います。
島田さんお伺いしていいですか?結局は過去の障害3戦、5戦前半、前編とかですかね、になると思いますが、島田さんではお伺いしてもよろしいでしょうか?
はい、わかりました。
あのですね、Windowsアプリで最後の最後に納金に間に合わなかったっていう障害がありまして、
うちの会社って基本的にWindowsアプリとかやってなかったんだけど、一個何のインクかやることがあって作っていたんですよね。
それはある資格試験の勉強をするアプリになっていて、
Windowsのアプリケーションってインストーラーってあるじゃないですか。
インストーラー作成のトラブル
あれを作る、ソフトを作ってそれをインストーラーを作るソフトがあるんで、それに入れてインストーラーを作るんだよね。
ソフトをインストーラー作成アプリに入れてインストーラー作るっていう作業なんだよね。
そのインストーラーを作る、インストールシールドっていうアプリをちゃんと買って動作確認もしていて、
なるほど、こうやって作ればいいのかという感じで理解して、ちゃんとしてるんでうちの会社ね。
調査もしてあって、もうこれでできるなと思っていたんだよね。
ただ実際のソフトに追い入れたことはなくて、実際ソフト作り終わって2日くらい前かな。
そこの担当だったのが内藤さんで今の専門ですね。
過去ポッドキャストにもアジャイル開発の収録の時に出ていたらしい、内藤さん。
そうそう。もう今はね、なんかそういうこと雑用は一切やらなくなってしまいましたけども。
偉くなりましたね。
その担当をやってもらっていて、インストールシールドわかりました、やりますよとか言ってやったんだけど、うまく動かないんだよね。
絶対手順通りやってるのに落ちちゃうっていうか、反応しなくなって途中で止まってしまうと。
インストールできないってことになって、俺呼び出されて、2人でね、オフィスに残って明け方までね、
なんでだろう、なんだろう、とか言ってやってたんだけど、結局ね、できなかったね。
で、できるかできないかがね、20分くらいしないとわかんないのよ。
インストール作るっていう最終的なボタンを押して、ずーっとやり始めて、途中で動きが遅くなってきて止まって、
で、エラー入って完全に止まるみたいなやつなんで、その間そういうこともないんだけどさ、ずっと画面見ながらさ、2人で画面見ながらさ、
なんかやっぱ遅くなってきたよみたいな。
あ、止まったみたいな。
楽しそうだですね。
もうね、深夜のテンション上がってるんで楽しい。
だけど、もうその発注元のところはプレスリリースも売っちゃってるし、
発売時期を変えるなんてことはできないんだよね。
それで、親も内藤くんもすごい焦っちゃって、やばいって本当に冷や汗かいて、ひらやまりですね。
これを結局どういったことが原因だったりとかしたんですか?
障害の原因と解決策
結局ね、後からわかったんだけど、画像がね、そこで使われてる画像が1万件くらいあって、
これ学習職のアプリでもその辺気にしてたんだけど、
Windowsとかって、Windowsって基本的に一つのフォルダの中に何万ファイルもあっちゃいけないんだよね。
必ずディレクティを細かく分けておかないと重くなっちゃうんだよね。
ということで、結局それを細かくね、ファイル名とかを頭文字とったりして、AとかBとかとって、
26か、アルファベットは、のディレクティに分けて作ったらそんなに遠慮になったんだよね。
なるほど。Windowsアプリが最初の時って冒頭にあったと思うんですけど、
やっぱりわからない、今まで作ったことないシステムと言いますか、使用の時には要注意っていうふうに改めて思いましたね。
怖いですよね。
だからちゃんと技術調査していても、実際にやってみると思わぬ障害というか、変な風が出たりするんで。
あとは逆にお話聞いてて思ったのは、バグの原因にさえ分かってしまえば解決は早いっていうケースは結構よくあるなっていう印象ですね。
そこまでにたどり着くのが結構大変。
だからそういうのもね、実際にもう一回テストしてみて、ファイルを全部なくして通るかどうかテストしてみて、少しずつファイルを増やしていって、
またやって、通るな通るなってやって、だんだん増やしていって1000ファイルとかになってくると重くなってくるとかってね、濡れつきに重くなってくるとかっていうのは。
そういうことをしていくと、ファイルの数だっていうのは分かると。
でも1日2日ではちょっとそれは無理だね。
分かんないです。
分かんない。
特にこう、何か起こった時のお客様としては、何でそれが起こったのっていうことをたぶんひたすら言われると思うんですよ。
それが分かっていればこうなってないよっていうのが正直なところなんですかね。
そう、そうなんだよ。
そうだね。
なるほど。
基本的にフルオーダーメイドで作る会社なんで、その案件その案件で必ずそういう障害が多少はあるんだよね。
ありがとうございます。
最初のタイトル、過去の障害5選というふうにお話しさせていただいたんですが、今日は3件紹介させて、紹介って言い方もおかしいですが。
話をさせていただいたところで、後日また残りの2000またお話をさせていただければと思います。
本日はこんなところでいかがでしょうか。
はい、大丈夫です。
いいと思います。
本日はいかがでしたでしょうか。楽しんでいただけましたらフォローや評価をお願いします。
また、Xでも最新情報を随時発信していますのでよろしくお願いします。
システム開発に関するご相談がございましたら、公式ホームページからお気軽にお問い合わせください。
それではまた次回お会いしましょう。
ありがとうございました。
15:18

コメント

スクロール