起きたこと
- やっぱりなんか寒い
- 気圧がとても悪くて頭が痛かった
マイニング
何かをミスったのか、マイナーが16プロセスぐらい起動していて、しかも何か事故ったのか
うち2プロセスがメモリを2GBずつ消費していた。ただでさえメモリがカツカツなサーバーで
そんな事故が起きたもんだからそれはもう… 何が起きたのかわからないがVMのディスクI/Oがすべて
停止したらしく、
- TrueNASがデバイス停止と判断→NFS閉塞→k8sノードのI/Oが全滅
- k8sノードのVMのローカルディスクへのI/Oが停止（これはなんでか謎なんだけれども）
という感じでとりあえずVMが全滅。サーバー再起動すら失敗するレベルだった。
仕方ないのでリセットするとサーバーは起動したが、
- k8s向けのZFSプールでデータが壊れているというエラー
- k8sワーカー 4番がOS起動しない（offline fsckしろと言われてinitramfsに落とされるが、入力を受け付けない）
ワーカー4番はまぁとりあえず置いておくとして（データはもってないから作り直せばいい）
ZFSプールが壊れているのは困る。具体的な破損箇所はPostgreSQLのDBのデータファイルとかばっかりで結構ヤバい。
（その割にはDBは起動してきているのが不思議だった）
なんやかんやしようと思ったあと、ふとscrubかけたらどうなるんだろうと思ってやってみるとなんと…
エラーがきれいさっぱり消えました。ZFSすごい。
TODO
- ワイドパンツ欲しい
- 職務経歴書アップデート
- Slack古いファイル削除ツールのアップデート（deprecated API変更）