製品に関する重要なお知らせ

緊急

おんどとりWebStorageの年末年始のサービス障害について(レポート)

掲載日: 2020年1月7日

平素よりおんどとりWebStorageをご利用いただき誠にありがとうございます。
2019年の年末ならびに2020年の年始に発生しておりましたサービス障害について、現在は復旧していることを確認しております。
障害発生中は大変ご迷惑をおかけして申し訳ございませんでした。

【障害発生の原因】
 障害の元となる異常状態の監視不足。

【サービス状態について】
 現在、下記の機能を暫定的に停止させていただいております。
・FTPにて送信される現在値データ(xml)ファイルの保存。
※グラフデータやダッシュボード・データ閲覧などのデータについては通常通り処理しておりますが、削除すべき古い現在値データ(xml)ファイルの削除にも時間がかかっている状態が継続しているため、2020年1月7日現在、暫定的にこちらの現在値データ(xml)ファイルをファイルとして保存する機能を停止させていただいております。


【障害発生日時について】
障害1:データ反映遅延の発生
 [障害発生期間]2019年12月28日(土) 12:00頃~12月30日(月) 9:50頃
 ※サービス停止期間:2019年12月30日(月) 9:15頃~9:50頃

 [障害発生原因]
 おんどとりWebStorageでは、データを受け取る専用の登録専用のデータベースと、データを参照する専用の参照専用データベースを用いてサービス提供しております。
 通常、登録専用データベースの内容が数秒以内に参照専用データベースへと連携されることで、皆様が参照される画面のデータを更新しておりますが、今回は連携異常によりデータ連携の停止が発生しました。

 [データ反映遅延による影響]
 - TR-7wb/nw/wfシリーズならびにTR4シリーズの記録データのWebStorageへの反映遅延
 - RTR-500シリーズ/TR-700Wシリーズの記録データ/現在値データのWebStorageへの反映遅延
 - パスワード変更・パスワード忘れ・新規ユーザ登録などの処理異常
 ※上記の障害発生期間中はデータの更新は正常に行われていましたが、一時的に最新データの参照・パスワード変更後のログインに問題が発生している時間帯がありました。

 [サービス停止による影響]
 - 「おんどとり Web Storage」の全てのサービスがご利用頂けない状態
 - RTR-500シリーズ/TR-700Wシリーズの現在値データの反映遅延/欠損の可能性
 - TR-7wb/nw/wfシリーズならびにThermoREC/ThermoStorage経由でのTR4シリーズのデータ送信失敗、もしくは反映遅延/欠損の可能性

障害2:FTPにて送信されるデータファイル処理の遅延
 [障害発生期間]2020年1月3日(金) 12:00頃~1月6日(月) 24:30頃
 ※FTP停止期間:2020年1月6日(月) 9:00頃~14:00頃

 [障害発生原因]
 FTPにて送信されてきた現在値データ(xml)ファイルについて、解析の上で各種データを登録し、その後各ユーザの設定に従ってファイルの保存が必要な場合は最大で24時間まではファイルとしてダウンロード可能な状態で保存しております。
 今回、こちらのファイルの保存部分に関して大量保存時のみに問題となる箇所があり、それが原因でFTPにて送信されてきたファイルの処理が徐々に滞る状態が発生しておりました。
 処理待ちのファイル数については監視しておりましたが、一時的に大量にファイルがFTP送信される場合を考慮した監視部分に問題があり、今回の異常状態の検出ができておりませんでした。

 [FTPにて送信されるデータファイル処理の遅延による影響]
 - RTR-500シリーズ/TR-700Wシリーズの記録データ(trz/prz)/現在値データ(xml)のWebStorageへの反映遅延

 [FTP停止による影響]
 - RTR-500シリーズ/TR-700Wシリーズの記録データ(trz/prz)の反映遅延の可能性
 - RTR-500シリーズ/TR-700Wシリーズの現在値データ(xml)の反映遅延/欠損の可能性


【今後の対応】
 負荷状況・サーバ環境に合わせた障害監視の強化ならびに障害対応体制の強化
※新サービス提供や負荷状況に合わせて、サーバ環境の増強や監視体制を強化し続けてきておりますが、皆様のデータ利用プラットフォームになりつつあるサービスとして、より積極的な体制強化に努めてまいります。

お問い合わせ

  • TEL 0263-40-0131
  • FAX 0263-40-3152

【窓口】 株式会社ティアンドデイ営業部 (お電話受付時間:月~金曜日(祝日除く)9:00-12:00/13:00-17:00