Một hàng trong tập dữ liệu VPN nghĩa là gì và vì sao điều đó quan trọng

Hãy hỏi một hàng của tập dữ liệu VPN đại diện cho điều gì, và các câu trả lời sinh sôi: một công ty, một trình lắng nghe, một địa chỉ đầu ra công khai, một kết quả về khả năng tiếp cận. Mỗi thứ đều chính đáng, và trộn chúng mà không có nhãn sẽ tạo ra một tổng nghe có vẻ chính xác và không có nghĩa gì. Đơn vị là một quyết định thiết kế, và phải được đưa ra trước lần đếm đầu tiên. Phần lớn sự nhầm lẫn trong thống kê VPN đã công bố đến từ việc bỏ qua bước đó.

Một hàng là một khẳng định, không phải một vật

Mỗi hàng khẳng định một điều gì đó về thế giới, và khẳng định đó có một chủ thể. Chính việc đặt tên cho chủ thể làm cho hàng đó có thể so sánh với hàng khác.

Hàng nhà cung cấp khẳng định rằng một tổ chức cung cấp dịch vụ. Hàng điểm cuối khẳng định rằng một địa chỉ và cổng nhất định nói một giao thức. Hàng đầu ra khẳng định rằng lưu lượng đã rời một địa chỉ tại một thời điểm. Hàng đo đạc khẳng định rằng một đầu dò từ đâu đó đã quan sát một kết quả. Bốn chủ thể, bốn lược đồ, và một tập dữ liệu trộn chúng mà không có bộ phân biệt thì hoàn toàn không thể tổng hợp được.

Bộ phân biệt là phần rẻ nhất của lược đồ và là phần bị bỏ qua nhiều nhất.

Chọn đơn vị trước khi đếm

Chọn đơn vị trả lời câu hỏi bạn thực sự có. Đếm điểm cuối trả lời có bao nhiêu trình lắng nghe được công bố; đếm nhà cung cấp trả lời có bao nhiêu tổ chức tham gia; đếm địa chỉ đầu ra trả lời có bao nhiêu nguồn gốc bề ngoài tồn tại.

Những con số này không thể thay thế cho nhau, và khác biệt rất lớn. Một nhà cung cấp có thể vận hành hàng nghìn địa chỉ, và một địa chỉ có thể chứa nhiều trình lắng nghe giao thức cho các dịch vụ khác nhau. Vì thế số địa chỉ không phải là cận trên hay cận dưới cho số nhà cung cấp. Hãy nêu đơn vị trong cùng câu với con số, mỗi lần. Một con số không có đơn vị là một ý kiến có dấu thập phân.

Một danh bạ công khai cung cấp những người tham gia được công bố trong dịch vụ đó. Nó không phải bản kiểm kê mọi triển khai thương mại, tổ chức và riêng tư trên thế giới, và coi nó như vậy sẽ thổi phồng mọi thống kê phái sinh.

Nguồn gốc thuộc về lược đồ

Một hàng không có nguồn gốc thì không thể kiểm tra lại. Hãy ghi lại bản ghi nguồn, thời điểm thu thập cùng múi giờ, phương pháp quan sát và trạng thái lần nhìn thấy cuối.

Hãy giữ các thuộc tính được công bố tách khỏi những thuộc tính được quan sát, vì chúng mang trọng lượng khác nhau. Nhãn quốc gia của một danh bạ là một khẳng định được công bố, và nó không phải bằng chứng về vị trí vật lý của máy chủ. Một cấp phát IP chỉ định một khối mạng, không phải mọi người thuê bên trong, và không phải nhà điều hành hiện tại của một ứng dụng bên trên. Hai cột và một ghi chú thắng một trường hợp nhất mỗi lần.

{"endpoint": "203.0.113.10:1194/udp", "unit": "endpoint", "advertised_country": "NL",
 "observed_at": "2026-11-03T02:15:00Z", "method": "udp_probe", "last_seen": "2026-11-03"}

Một dòng JSON duy nhất làm lược đồ trở nên cụ thể và dễ tranh luận hơn một đoạn mô tả. Lưu ý rằng dấu thời gian mang múi giờ và phương pháp được nêu tên chứ không phải ngầm hiểu.

Loại trùng lặp theo câu hỏi

Trùng lặp phụ thuộc vào đơn vị. Cùng một địa chỉ với hai trình lắng nghe giao thức là một cặp điểm cuối và hai dịch vụ, và gộp nó lại một cách lặng lẽ sẽ thay đổi phép đếm.

Loại trùng lặp ở mức mà câu hỏi đề cập, và ghi lại có bao nhiêu hàng thô đã gộp vào mỗi hàng được giữ lại. Tỷ lệ đó tự nó là một phát hiện, vì mức gộp lớn thường có nghĩa nguồn công bố bản ghi theo từng trình lắng nghe. Một nhà cung cấp vận hành nhiều địa chỉ tạo ra mẫu ngược lại. Cả hai đều đúng, và chỉ tỷ lệ được ghi lại mới cho phép người đọc phân biệt chúng.

Sau đó hãy giữ các hàng thô. Một bảng đã loại trùng là một khung nhìn, và khả năng dựng lại nó từ dữ liệu thô là điều làm cho kết quả có thể tái tạo.

Công bố tuyên bố phạm vi

Nêu rõ các nguồn được chọn như thế nào, chúng bao phủ những vùng hoặc mạng nào, và điều gì cố ý vắng mặt.

Các điểm cuối doanh nghiệp riêng tư và những triển khai không được công bố không bao giờ xuất hiện trong danh sách công khai, nên sự vắng mặt trong một danh bạ chỉ chứng minh rằng danh bạ đã không liệt kê nó. Hãy kiểm tra điều khoản của nguồn và quyền phân phối lại trước khi công bố, và loại bỏ những trường không bao giờ cần đến. Một nghiên cứu điểm cuối hiếm khi cần danh tính thuê bao, thông tin đăng nhập hay lịch sử duyệt web. Công bố những thứ đó sẽ là một dự án khác với lý do khác.

wc -l vpn-endpoints.jsonl
jq -r '.unit' vpn-endpoints.jsonl | sort | uniq -c
jq -r '.advertised_country' vpn-endpoints.jsonl | sort | uniq -c | sort -rn | head

Ba lệnh đó cho một số đếm hàng, một phân tách đơn vị và một bản phác phạm vi theo quốc gia được công bố. Hãy giữ ảnh chụp có ghi ngày khi dân số thay đổi, và phân biệt cái lỗi thời với sự vắng mặt đã xác nhận. Một tập dữ liệu có giới hạn với dân số rõ ràng tốt hơn một khẳng định không được chống đỡ rằng nó chứa mọi VPN trên internet.