0%

2021/02/06 Daily Release Note

起きたこと

  • やっぱりなんか寒い
  • 気圧がとても悪くて頭が痛かった

マイニング

何かをミスったのか、マイナーが16プロセスぐらい起動していて、しかも何か事故ったのか
うち2プロセスがメモリを2GBずつ消費していた。ただでさえメモリがカツカツなサーバーで
そんな事故が起きたもんだからそれはもう… 何が起きたのかわからないがVMのディスクI/Oがすべて
停止したらしく、

  • TrueNASがデバイス停止と判断→NFS閉塞→k8sノードのI/Oが全滅
  • k8sノードのVMのローカルディスクへのI/Oが停止(これはなんでか謎なんだけれども)

という感じでとりあえずVMが全滅。サーバー再起動すら失敗するレベルだった。
仕方ないのでリセットするとサーバーは起動したが、

  • k8s向けのZFSプールでデータが壊れているというエラー
  • k8sワーカー 4番がOS起動しない(offline fsckしろと言われてinitramfsに落とされるが、入力を受け付けない)

ワーカー4番はまぁとりあえず置いておくとして(データはもってないから作り直せばいい)
ZFSプールが壊れているのは困る。具体的な破損箇所はPostgreSQLのDBのデータファイルとかばっかりで結構ヤバい。
(その割にはDBは起動してきているのが不思議だった)
なんやかんやしようと思ったあと、ふとscrubかけたらどうなるんだろうと思ってやってみるとなんと…
エラーがきれいさっぱり消えました。ZFSすごい。

TODO

  • ワイドパンツ欲しい
  • 職務経歴書アップデート
  • Slack古いファイル削除ツールのアップデート(deprecated API変更)