2020/12/17-障害発生と復旧のお知らせ（画像が表示されない）

【発生日時】
2020/12/17 05:40:51 ~ 2020-12-17 10:32:12

【影響内容】

LiLz Camで撮影した画像が、LiLz Gaugeダッシュボード上に表示されない。

 【障害原因と対策】

12/17時点： LiLz Gaugeクラウド内部のバックグラウンドワーカー間のクロック同期時に、何らかの原因でバックグラウンドワーカーのタスクが停止し、画像の保存処理が実行されなくなったと想定しています。調査を進めたところ、内部ログによりサーバー間のクロック同期ができていないことが分かり、約17秒のずれが発生しておりました。

12/18時点： クロック同期のズレが原因でバックグラウンドワーカーのタスクが処理を停止したと推定し、12/18 Release 1.31.7 をリリースし、サーバー間のクロック同期対応を、暫定対策いたしました。クロック同期により本現象の最初が防止できるかは今後の経過確認といたします。

また、本障害発生は、5:40ごろですが今回バックグラウンドワーカーのヘルスチェックが導入されておらず、同日9:30ごろ、複数のお客様からのご連絡にて本事象を把握いたしました。今後の対策といたしまして、バックグラウンドワーカーの定期的なヘルスチェックを導入し早期に検出できるような構成に変更いたします。

ご利用中の皆様には大変ご迷惑をおかけいたしました。

今後もサービス向上に努めてまいります。引き続き宜しくお願いいたします。