サーバー移転作業中の不具合
近藤淳也
近藤です。 桑原です。 LISTEN NEWSです。今日はちょっとお詫びをしなければなりません。
ちょっと桑原くんに危機役に来てもらいまして、サーバー開店に関する状況説明をさせていただこうと思います。
最初に結論から言いますと、お預かりしているLISTENサーバーでホスティングさせてもらっていた皆さんの大切な音声ファイルの一部をちょっとなくしてしまいまして、本当に申し訳ありません。
申し訳ありません。
ちょっとその状況説明を、DiscordとかTwitterでさせてもらってますけど、少し詳しく知りたいという方のために詳しくさせてもらおうと思います。
まず今ですね、この近藤日ぐらいで行っていた、まず作業というのが、サーバーの移転作業になります。
先日から結構負荷が高い状態が続いて、サーバーエラーがLISTENでよく起こっていまして、それを解決するためにサーバーの増強ではなくて、もう移転ですね。
古い環境だとなかなか拡張性がない環境でしたので、1回そこで構築していたLISTENのサーバー環境っていうのをもう使わないようにというか。
完全に別のサーバーに移転という。
全く新しい環境を設定して、そちらに全面的に移行するっていう作業を少し前から準備を進めてきてまして、いよいよ最終作業というか本格的な作業をこの3日間で行っていたっていう、まず形になります。
具体的に申し上げますと、新しいサーバー環境というのがWebサーバーとストレージサーバーっていうのは別になってるんですね。
ストレージサーバーに皆さんの音声ファイルとかあと画像ファイルとかそういうファイルを置いて、そのサーバーをいろんなところから使えるっていうように分散した環境に移行してます。
今までは1台のWebサーバーに全部のファイルを保存して配信してたんですけれども。
作業の手順としては、まず古い環境で一旦新しいファイルのストレージサーバーに今までの音声ファイルとか画像ファイルをまず移動して、
それからWebサーバーを新しい環境に移していくっていう作業を順番にやってまして、先に金曜日ぐらいですかね、音声ファイルとか画像ファイルの移行作業っていうのを進めてました。
処理としては古いファイルを新しいサーバーのほうに移動させて、そしてデータベース上のこのエピソードはこの音声ファイルですっていうデータをどんどん書き換えていくっていう処理になります。
この処理をプログラムを組んで順番にやっていたんですけれども、
結果的にはですね、この処理の中でおそらく上手く新しいサーバーに保存ができていないファイルっていうのがあったんだと思われます。
じゃないかと一番思ってますけど。
なのにその新しいサーバーのほうに上手く保存ができていないのに、どんどんエピソードの音声ファイルのここにありますっていうのを書き換えていって、
かつ移動処理だったので古いサーバーから消えていってたんですね。
移動したものはどんどん消えていくっていう処理だったんですか。
そうなんです。ということで、仮に消えてなくてもちょっとレコードがどんどん書き換わっていくので、古いファイルの位置がわからないみたいなことも同時にあったんですけど、
20ぐらいの要因で上手く新しい環境にファイルが置けなかったものの元のファイルっていうのが失われてしまったっていうことがわかりまして。
実はだからその状況が金曜日からはもうすでに発生していました。
ただそこがちょっと全部ではなかったので、ある程度は上手く移動ができていたので気づけていなくて。
日曜日の早朝から最後のWebサーバーとか全ての動作環境を新しいサーバー環境に移動するっていう最後の移行作業をしたんですけれども、
その後もいろいろ確認をしている中で何名か古いエピソードが音声が再生されませんっていうご指摘をいただきまして、
調べていって改めて全てのリッスンでホスティングしているエピソードを調べ上げて順番にファイルのチェックをしていったところ、
結構な数の音声ファイルが実際にはないっていうことがわかりまして、
というのが原因と経緯になります。
音声ファイルの消失と復旧作業
近藤淳也
なるほど。
本当に申し訳ありませんでした。
申し訳ありませんでした。
それでその後の対応なんですけれども、一旦復旧を試みたんですが、古いサーバーの少し残っているファイルがあるんで、
それを調べていったんですけど、途中で止まっているファイルとかも多くてですね。
実はですね、ちょっと前に作成したフィルター処理がありますね。ノーマライズとかのフィルター。
そのフィルター処理が実際はうまく最後まで行われておらず、音声ファイル自体が途中で切れてるみたいなファイルも結構ありまして、
そういうのとかが中途半端に残ってたりとかっていうのはあったりするんですけども、それもそれで今更それにしたところでっていうところもあったりとか、
だからちょっと前からサーバーの負荷がすごい高くなっていたせいで、どんどんいろんな処理が途中で止まるっていう状態が頻発していたことで、
そもそもフィルター処理が途中で止まったりとか、サーバーの移動作業が途中で止まったりみたいなことがあちこちで起きたことで、
ファイルが途中で壊れていたりとかっていうことも多くてですね、
ちょっと復旧がこれは難しいなっていうことで、
亡くなってしまっているファイルの一覧を作りまして、
それぞれのポッドキャスターさんに個別にこのファイルがありませんっていうのをリストを作成しまして、
昨晩ですね、ファイルが見当たらないポッドキャスターのオーナーの管理者のユーザーさん全員に個別に管理されているポッドキャストの中で、
今このエピソードの音声ファイルがちょっとなくなってしまっていますっていうことで、
リストを作ってそれぞれに個別でご連絡をさせてもらっています。
なるほど。
ですので、ちょっと本当にお手数おかけして申し訳ないんですけれども、
もし手元に過去のエピソードの音声ファイルをまだお持ちでしたら、
ちょっとその音声ファイルを、お手数ですけれどももう1回アップロードしていただくと、
過去のエピソードもちゃんと聞けるようになるかと思いますので、
もしお持ちでしたらちょっとすいませんが、そういう作業をお願いできればと思います。
それでですね、リストを送りする際にメールの中には過去のタイトル、そのエピソードのタイトルと、
あとエピソードのURL、リンクの一覧を送りしているんですけれども、
昨日の夜にKaiさんからご質問があって、
元のファイル名が分からないですかっていうご質問があったんですね。
手元のファイル名でどれだったかが分かれば簡単にこれって見つけられるんでアップしやすいっていうご質問があったんですけれども、
それについては元のファイル名というのは分からなくて、
アップロード時にだいたいハッシュ化してすごいランダムな文字列になったファイル名を生成して、
それをファイルシステムとデータベースに保存してますので、
別のサーバーへの移行作業
近藤淳也
元のファイル名っていうのは記録をしてないのでちょっと分からなくて申し訳ないんですけども、
一応ローカルのファイルを探すときに少しは手がかりになるかなっていう情報として、
一応ファイルサイズですね。何メガバイトみたいな。
ファイルサイズとあとは再生時間、何分何秒っていう再生時間のデータはこちらで持ってますので、
一応そのデータを追加でお出しすることはできます。
なるほど。
Kaiさんにはお送りしたんですけども、
もしエピソードページのリンク以外にファイルの情報も追加でリストにしてほしいっていうご希望がございましたら、
もう一度メールをお送りしますのでお気軽に言っていただければと思います。
桑原佑輔
そうですね。確かにタイトルとファイル名は一緒ではない方も結構いますもんね。
近藤淳也
そうですね。日付のタイムスタンプとかでエピソードの公開日付を見てっていうのはある程度参考になるかもしれないですけど、
それもずれているというかね。
収録から公開までずれてたりとかすると結構わからないかもしれないんで、
ご希望があれば教えていただければと思います。
桑原佑輔
それはリストにメールか何かで連絡すればって感じですかね。
近藤淳也
そうですね。別にこのリストニュースのコメント欄でも大丈夫ですし、
Discordでもメールでも何でも大丈夫です。
桑原佑輔
そちらにご連絡をお願いします。
近藤淳也
お願いします。
一応現状なんですけれども、
昨日の朝にサーバーの移行、最終的な移行ですね。
Webサーバー自体をすべて新しいサーバー環境に移動するっていう作業を行いまして、
データベースの切り替えも行いまして、
Listen.styleアドレスでアクセスする先が古いサーバーから新しいサーバーに切り替わるっていうのの最終的な作業を明日、
昨日の朝行いまして、
少し細かい不具合なんかがあったので順番に機能を直していたんですけれども、
一応Webサーバーの動作としてはこちらで認識している範囲では、
今ある程度正常に稼働し始めているとは思っていますが、
今回みたいにかなり大きな移行作業でしたので、
ゼロから全部変わったっていう感じの相当大きな移行作業だったので、
もしかしたらまだこちらで気づけていない不具合ですとか、
これが実はないよとか、もしかしたらあるかもしれないんで、
もしそういう点にお気づきのところがありましたら、
ぜひご遠慮なく教えていただきたいですし、
ぜひ教えていただければと思いますので、よろしくお願いします。
よろしくお願いします。
そんな感じですけど、気になることはなかったですか?
桑原佑輔
ここからアップするファイルに関しては全部新しいサーバーの方に行くので、
今回の消えたっていうところにはあまり関係はしてこないって感じですよね。
近藤淳也
その通りですね。
それも金曜日からそうだったんですけれども、
新規でアップロードする分は全部新しいファイルストレージの方に
アップする仕組みになってまして、
今のところそれは正しくちゃんと動いているとは思いますので、
ご心配なくアップロードしていただければと思いますし、
当然ながら今後二度とこういうことがないように、
消失した音声ファイルの確認依頼
近藤淳也
ちゃんとファイルの管理、気をつけていきたいと思います。
桑原佑輔
ちなみにですが、今回ファイルがなくなった方ってどれぐらいの方がいらっしゃったんでしょうか?
近藤淳也
数十人ぐらい。
具体的に言うと30名ぐらいの方が、
少ない方だと1ファイルとか2ファイルとかですし、
多い方は数十ファイルっていう感じで、
全体で数百ファイルぐらいありました。
桑原佑輔
自分のファイルがなくなっているかどうかってところは、
昨日近藤さんから連絡が来ているので、
それを確認していただくっていう形になるんですかね?
近藤淳也
昨日の夜の8時、7時から9時ぐらいにかけてですかね、
Listenの方にご登録いただいているメールアドレスの方へ、
このファイルがありませんっていうメールを送りしてますので、
昨日の夜のメールがない方は大丈夫だと思います。
桑原佑輔
じゃあ皆さん一度可能でしたら、
昨日のメール来てるかどうかを確認いただいて、
自分のファイルが大丈夫かどうかっていうところを確認すればってところですね。
近藤淳也
はい、そうですね。
じゃあ完全に落ち着くまでもう少しかかるかもしれないですけども、
いろいろご迷惑をおかけして申し訳ありませんでした。
桑原佑輔
申し訳ありませんでした。
近藤淳也
どうもありがとうございました。
桑原佑輔
ありがとうございました。
