Asingkan Pemeriksaan Kesihatan VPN daripada Pemeriksaan Kesihatan Aplikasi

Proses terowong anda boleh berjalan sementara sambungan terlindung tidak boleh digunakan, dan halaman web yang gagal bukan bukti bahawa terowong rosak. Apabila satu probe mewakili semua yang lain, dasar mula semula memulakan semula komponen yang salah dan menyebutnya automasi. Setiap pemeriksaan di bawah menamakan lapisan yang diperhatikannya, tindakan yang dicetuskan kegagalannya, dan bukti bahawa tindakan itu berkesan. Langkah terakhir menjadikan keseluruhan set sebagai halaman yang boleh diikuti seseorang pada pukul tiga pagi.

Langkah 1: namakan lapisan yang diperhatikan setiap pemeriksaan

Tanya apa yang benar-benar boleh dilihat setiap probe sebelum menulis mana-mana daripadanya. Kehidupan membuktikan daemon berjalan, jabat tangan atau senarai rakan membuktikan hubungan itu wujud, permintaan yang dilalui laluan membuktikan penghantaran, dan carian membuktikan penyelesaian. Semuanya gagal dalam urutan itu, dan tiada satu pun membayangkan yang seterusnya. Pemeriksaan proses hijau di sebelah terowong mati ialah kes biasa, bukan percanggahan.

Tulis keempat-empat pemeriksaan dalam urutan itu, dengan arahan tepat dan output yang dijangka bagi setiap satu. Probe yang output jangkaannya tidak dapat anda nyatakan akan dibaca secara berbeza oleh setiap pengendali yang melihat amaran. Letakkan senarai yang sama dalam teks amaran, bukan hanya dalam runbook, supaya orang yang dikejutkan pada waktu malam bertemu lapisan sebelum gejala. Pastikan setiap arahan sedia disalin pada hos yang menjalankannya.

Kemudian tambah pemeriksaan aplikasi sebagai item kelima yang berasingan. Halaman yang perkhidmatan akaunnya mati tidak membenarkan terowong dimulakan semula.

Langkah 2: ikat setiap kegagalan kepada satu tindakan

Bagi setiap pemeriksaan, tentukan apa yang dimulakan semula, apa yang kekal disekat dan apa yang memanggil manusia. Kegagalan lapisan terowong boleh membenarkan terowong dimulakan semula; kegagalan penyelesai menunjuk kepada integrasi DNS pada klien; kegagalan lapisan aplikasi hampir tidak sepatutnya menyentuh terowong.

Nyatakan apa yang tidak boleh dilakukan oleh kegagalan, kerana nilai lalai yang berbahaya ialah yang membenarkan. Status tidak sihat tidak boleh sekali-kali menjadi kebenaran untuk trafik aplikasi langsung, kerana laluan sandaran yang memintas terowong secara senyap menghapuskan sebab terowong itu wujud. Sempitkan juga tindakannya: memulakan semula komponen dikongsi kerana satu destinasi perlahan menjadikan masalah tempatan masalah seluruh armada. Ia juga memusnahkan bukti yang anda perlukan untuk mencari puncanya.

Langkah 3: pastikan probe tidak berbahaya dan murah

Gunakan permintaan kecil yang hanya-baca: sumber statik, titik akhir kesihatan yang melaporkan kebergantungannya sendiri, atau sambungan TCP ke port yang anda kawal. Elakkan kelayakan, pelayaran peribadi dan apa-apa yang mengubah keadaan pada setiap selang, kerana probe yang menulis ialah ujian beban mengikut jadual.

Rekod destinasi, jangkaan laluan dan had masa bagi setiap probe. Jangkaan laluan ialah medan yang orang tertinggal, dan itulah yang memisahkan kegagalan terowong daripada kesilapan penghalaan apabila anda membaca amaran kemudian. Terbitkan selang dan ambang kegagalan daripada masa pemulihan yang anda janjikan, dan pastikan had masa lebih pendek daripada selang. Probe yang masih berjalan apabila yang seterusnya bermula melaporkan satu kegagalan dua kali dan kelihatan seperti berkelip.

Langkah 4: pecahkan setiap lapisan dan lihat probe yang betul menjadi merah

Hentikan proses terowong dan sahkan pemeriksaan proses gagal sementara DNS mungkin masih menjawab dari cache. Tukar laluan dan sahkan permintaan yang dilalui laluan gagal sementara proses dan jabat tangan kekal sihat. Pecahkan DNS sahaja dan sahkan pemeriksaan aplikasi melaporkan penyelesaian dan bukannya ralat terowong. Jika dua probe sentiasa bergerak bersama, anda mempunyai lebih sedikit pemeriksaan daripada yang anda sangka.

Uji arah pemulihan dengan disiplin yang sama. Selepas anda memulihkan lapisan, probe sepatutnya hilang tanpa mula semula manual, dan tindakan yang dicetuskan tidak sepatutnya meninggalkan sebarang pintasan. Perhatikan satu kitaran penuh sebelum mempercayai keadaan hijau, kerana probe yang hanya hilang dengan tangan menyembunyikan laluan pemulihan yang rosak.

Langkah 5: letakkan runbook di tempat amaran menunjuk

Satu halaman dengan lima baris membawa seluruh reka bentuk: lapisan, arahan, hasil jangkaan, tindakan semasa gagal, pemilik. Tambah satu baris bagi setiap probe tentang apa yang sengaja tidak diujinya. Baris itulah yang menghalang orang seterusnya daripada menambah pemeriksaan keenam yang mengukur segala-galanya dan tidak membezakan apa-apa. Pautkan halaman itu daripada teks amaran, jika tidak tiada siapa akan membukanya semasa insiden berlaku.

Dalam penggunaan kontena, syarat kebergantungan membentuk permulaan dan tiada yang lain. Urutan permulaan dan syarat kesihatan Compose dokumentasi menerangkan bagaimana kesediaan menentukan urutan perkhidmatan bermula; tiada satu pun daripadanya menguatkuasakan dasar keluar selepas itu, dan tiada satu pun daripadanya gagal tertutup apabila terowong jatuh. Penguatkuasaan berterusan memerlukan dasarnya sendiri dan probenya sendiri, ditulis pada halaman yang sama.

Runbook selesai apabila lapisan yang betul pulih tanpa sesiapa membaca tapak web yang tidak tersedia sebagai terowong rosak. Itu menguji dokumen itu, bukan terowong.