Tiến trình đường hầm của bạn có thể đang chạy trong khi kết nối được bảo vệ không dùng được, và một trang web thất bại không phải bằng chứng rằng đường hầm đã hỏng. Khi một đầu dò đại diện cho tất cả, chính sách khởi động lại sẽ khởi động lại sai thành phần và gọi đó là tự động hóa. Mỗi kiểm tra dưới đây nêu tên lớp mà nó quan sát, hành động mà thất bại của nó kích hoạt và bằng chứng rằng hành động đó đã hiệu quả. Bước cuối cùng biến toàn bộ thành một trang mà ai đó có thể theo dõi lúc ba giờ sáng.

Bước 1: nêu tên lớp mà mỗi kiểm tra quan sát

Hỏi mỗi đầu dò thực sự nhìn thấy gì trước khi viết bất kỳ cái nào. Khả năng sống chứng minh daemon đang chạy, bắt tay hoặc danh sách ngang hàng chứng minh mối quan hệ tồn tại, yêu cầu được định tuyến chứng minh việc giao nhận, và tra cứu chứng minh phân giải. Chúng hỏng đúng theo thứ tự đó, và không cái nào ngụ ý cái tiếp theo. Một kiểm tra tiến trình xanh bên cạnh một đường hầm chết là trường hợp bình thường, không phải mâu thuẫn.

Viết bốn kiểm tra theo thứ tự đó, với lệnh chính xác và đầu ra mong đợi cho từng cái. Một đầu dò mà bạn không nêu được đầu ra mong đợi sẽ được mỗi người vận hành nhìn thấy cảnh báo đọc khác nhau. Đặt cùng danh sách đó vào văn bản cảnh báo, không chỉ trong sổ tay, để người bị đánh thức lúc nửa đêm gặp lớp trước triệu chứng. Giữ mọi lệnh sẵn sàng sao chép trên máy chủ chạy nó.

Sau đó thêm kiểm tra ứng dụng như mục thứ năm, riêng biệt. Một trang có dịch vụ tài khoản chết không biện minh cho việc khởi động lại đường hầm.

Bước 2: gắn mỗi thất bại với một hành động duy nhất

Với mỗi kiểm tra, hãy quyết định cái gì khởi động lại, cái gì vẫn bị chặn và cái gì gọi một con người. Thất bại của lớp đường hầm có thể biện minh cho việc khởi động lại đường hầm; thất bại của bộ phân giải chỉ vào tích hợp DNS trên máy khách; thất bại của lớp ứng dụng gần như không bao giờ được chạm vào đường hầm.

Nói rõ thất bại không được làm gì, vì những mặc định nguy hiểm là những cái cho phép. Một trạng thái không khỏe mạnh không bao giờ được trở thành quyền cho lưu lượng ứng dụng trực tiếp, vì một đường dự phòng lặng lẽ bỏ qua đường hầm sẽ xóa đi lý do tồn tại của đường hầm. Thu hẹp cả hành động: khởi động lại một thành phần chia sẻ vì một đích đến chậm sẽ biến sự cố cục bộ thành sự cố của cả phi đội. Nó cũng phá hủy bằng chứng bạn cần để tìm ra nguyên nhân.

Bước 3: giữ các đầu dò vô hại và rẻ

Dùng các yêu cầu nhỏ, chỉ đọc: một tài nguyên tĩnh, một điểm cuối sức khỏe báo cáo phụ thuộc của chính nó, hoặc một kết nối TCP tới cổng bạn kiểm soát. Tránh thông tin đăng nhập, duyệt riêng tư và bất cứ thứ gì thay đổi trạng thái ở mỗi chu kỳ, vì một đầu dò ghi là một bài kiểm tra tải theo lịch.

Ghi lại đích đến, kỳ vọng tuyến và thời gian chờ cho mỗi đầu dò. Kỳ vọng tuyến là trường mà mọi người bỏ qua, và chính nó tách thất bại đường hầm khỏi lỗi định tuyến khi bạn đọc cảnh báo sau này. Suy ra chu kỳ và ngưỡng thất bại từ thời gian khôi phục bạn cam kết, và giữ thời gian chờ ngắn hơn chu kỳ. Một đầu dò vẫn chạy khi cái tiếp theo bắt đầu sẽ báo một thất bại hai lần và trông như rung nhấp nháy.

Bước 4: phá từng lớp và xem đầu dò đúng có chuyển đỏ

Dừng tiến trình đường hầm và xác nhận kiểm tra tiến trình thất bại trong khi DNS có thể vẫn trả lời từ bộ nhớ đệm. Thay đổi một tuyến và xác nhận yêu cầu được định tuyến thất bại trong khi tiến trình và bắt tay vẫn khỏe. Chỉ phá DNS và xác nhận kiểm tra ứng dụng báo phân giải thay vì lỗi đường hầm. Nếu hai đầu dò luôn di chuyển cùng nhau, bạn có ít kiểm tra hơn bạn tưởng.

Kiểm tra hướng khôi phục với cùng kỷ luật. Sau khi khôi phục lớp, đầu dò phải tự sạch mà không khởi động lại bằng tay, và hành động đã kích hoạt không được để lại bất kỳ đường vòng nào. Quan sát một chu kỳ đầy đủ trước khi tin vào trạng thái xanh, vì một đầu dò chỉ sạch khi làm bằng tay sẽ che giấu con đường khôi phục đã hỏng.

Bước 5: đặt sổ tay ở nơi cảnh báo trỏ tới

Một trang với năm hàng mang toàn bộ thiết kế: lớp, lệnh, kết quả mong đợi, hành động khi thất bại, chủ sở hữu. Thêm một dòng cho mỗi đầu dò về điều nó cố ý không kiểm tra. Chính dòng đó ngăn người tiếp theo thêm kiểm tra thứ sáu đo mọi thứ và không phân biệt gì. Liên kết trang từ văn bản cảnh báo, nếu không sẽ không ai mở nó trong khi sự cố đang diễn ra.

Trong triển khai container, một điều kiện phụ thuộc định hình khởi động và không gì khác. Thứ tự khởi động và điều kiện sức khỏe của Compose tài liệu mô tả cách mức sẵn sàng xác định thứ tự các dịch vụ khởi động; không điều nào trong đó thực thi chính sách thoát ra sau đó, và không điều nào thất bại theo kiểu đóng khi đường hầm sụp. Việc thực thi liên tục cần chính sách riêng và đầu dò riêng, được viết trên cùng trang.

Sổ tay hoàn tất khi lớp đúng được khôi phục mà không ai đọc một trang web không khả dụng như một đường hầm hỏng. Điều đó kiểm tra tài liệu, không phải đường hầm.

Bài viết liên quan