Ano ang ibig sabihin ng isang hilera sa isang dataset ng VPN, at bakit ito mahalaga

Itanong kung ano ang kinakatawan ng isang hilera ng dataset ng VPN, at dumarami ang sagot: isang kumpanya, isang tagapakinig, isang pampublikong exit address, isang resulta ng reachability. Lahat ay lehitimo, at ang paghahalo sa kanila nang walang label ay gumagawa ng kabuuang mukhang tumpak at walang ibig sabihin. Ang yunit ay desisyon sa disenyo, at dapat itong gawin bago ang unang bilang. Karamihan ng kalituhan sa nailathalang estadistika ng VPN ay nagmumula sa paglaktaw sa hakbang na iyon.

Ang hilera ay isang pahayag, hindi isang bagay

Bawat hilera ay nagpapahayag ng isang bagay tungkol sa mundo, at ang pahayag ay may paksa. Ang pagpangalan sa paksa ang gumagawa sa hilerang maihahambing sa ibang hilera.

Ang hilera ng provider ay nagpapahayag na may organisasyong nag-aalok ng serbisyo. Ang hilera ng endpoint ay nagpapahayag na may partikular na address at port na nagsasalita ng protocol. Ang hilera ng exit ay nagpapahayag na umalis ang trapiko sa isang address sa isang pagkakataon. Ang hilera ng pagsukat ay nagpapahayag na may probe mula sa isang lugar na nakakita ng resulta. Apat na paksa, apat na schema, at isang dataset na humahalo sa kanila nang walang tagapaghiwalay ay hindi maaaring pagsamahin kahit paano.

Ang tagapaghiwalay ay ang pinakamurang bahagi ng schema at ang pinakamadalas iwanan.

Piliin ang yunit bago ang bilang

Piliin ang yunit na sumasagot sa tanong na talagang mayroon ka. Ang pagbilang ng mga endpoint ay sumasagot kung ilang tagapakinig ang inihayag; ang pagbilang ng mga provider ay sumasagot kung ilang organisasyon ang kasangkot; ang pagbilang ng mga exit address ay sumasagot kung ilang tila pinagmulan ang umiiral.

Hindi mapagpapalit ang mga numerong ito, at malaki ang pagkakaiba. Maaaring magpatakbo ang isang provider ng libu-libong address, at maaaring magpatira ang isang address ng ilang tagapakinig ng protocol para sa magkakaibang serbisyo. Kaya’t ang bilang ng address ay hindi itaas o ibabang hangganan ng bilang ng provider. Banggitin ang yunit sa parehong pangungusap ng numero, tuwing. Ang numerong walang yunit ay opinyon na may desimal na tuldok.

Ang pampublikong direktoryo ay nagbibigay ng mga inihayag na kalahok sa serbisyong iyon. Hindi ito imbentaryo ng bawat komersyal, organisasyonal at pribadong deployment sa mundo, at ang pagtrato dito nang ganoon ay nagpapalaki sa bawat hinangong estadistika.

Ang pinagmulan ay bahagi ng schema

Ang hilerang walang pinagmulan ay hindi na muling masusuri. Itala ang talaan ng pinagmulan, ang oras ng pagkolekta kasama ang time zone nito, ang paraan ng pagmamasid, at ang katayuan ng huling pagkakita.

Panatilihing hiwalay ang mga inihayag na katangian mula sa mga naobserbahan, dahil magkaiba ang bigat nila. Ang label ng bansa sa direktoryo ay inihayag na pahayag, at hindi ito patunay ng pisikal na lokasyon ng isang server. Ang pagtatalaga ng IP ay tumutukoy sa isang bloke ng network, hindi sa bawat nangungupahan sa loob nito, at hindi sa kasalukuyang operator ng isang application sa ibabaw nito. Dalawang hanay at isang tala ang nananalo sa isang pinagsamang field tuwing.

{"endpoint": "203.0.113.10:1194/udp", "unit": "endpoint", "advertised_country": "NL",
 "observed_at": "2026-11-03T02:15:00Z", "method": "udp_probe", "last_seen": "2026-11-03"}

Isang linya ng JSON ang nagpapakongkreto sa schema at mas madaling talakayin kaysa isang talata ng paglalarawan. Pansinin na ang timestamp ay may time zone at ang paraan ay pinangalanan sa halip na ipinahiwatig.

Alisin ang mga doble ayon sa tanong

Ang mga doble ay nakadepende sa yunit. Ang parehong address na may dalawang tagapakinig ng protocol ay isang pares ng endpoint at dalawang serbisyo, at ang tahimik na pagsasanib nito ay nagbabago sa bilang.

Alisin ang mga doble sa antas na tinutukoy ng tanong, at itala kung ilang hilaw na hilera ang nagsanib sa bawat hilerang itinatago. Ang proporsyon na iyon ay isang natuklasan mismo, dahil ang malaking pagsasanib ay karaniwang nangangahulugang naglalathala ang pinagmulan ng mga talaan kada tagapakinig. Ang provider na may maraming address ay gumagawa ng kabaligtarang pattern. Tama ang dalawa, at tanging ang naitalang proporsyon ang nagpapahintulot sa mambabasa na makilala sila.

Pagkatapos ay itago ang mga hilaw na hilera. Ang talahanayang walang doble ay isang pananaw, at ang kakayahang buuin itong muli mula sa hilaw na input ang gumagawa sa resulta na maaaring muling gawin.

Ilathala ang pahayag ng saklaw

Sabihin kung paano pinili ang mga pinagmulan, anong mga rehiyon o network ang saklaw nila, at ano ang sadyang wala.

Ang pribadong korporat na endpoint at hindi inihayag na deployment ay hindi kailanman lumilitaw sa pampublikong listahan, kaya ang kawalan sa direktoryo ay nagpapatunay lamang na hindi ito inilista ng direktoryo. Suriin ang mga tuntunin ng pinagmulan at mga pahintulot sa muling pamamahagi bago ilathala, at alisin ang mga field na hindi kailanman kailangan. Ang pag-aaral ng endpoint ay bihirang mangailangan ng pagkakakilanlan ng subscriber, kredensyal o kasaysayan ng pagba-browse. Ang paglathala ng mga iyon ay ibang proyekto na may ibang katwiran.

wc -l vpn-endpoints.jsonl
jq -r '.unit' vpn-endpoints.jsonl | sort | uniq -c
jq -r '.advertised_country' vpn-endpoints.jsonl | sort | uniq -c | sort -rn | head

Ang tatlong utos na iyon ay nagbibigay ng bilang ng hilera, paghahati ng yunit at sketch ng saklaw ayon sa inihayag na bansa. Itago ang may petsang snapshot kapag nagbabago ang populasyon, at paghiwalayin ang lipas sa kumpirmadong kawalan. Ang limitadong dataset na may malinaw na populasyon ay mas mabuti kaysa sa walang basehang pagpapahayag na naglalaman ito ng bawat VPN sa internet.