Wat ien rige betsjut yn in VPN-dataset, en wêrom’t dat fan belang is

Freegje wat ien rige fan in VPN-dataset fertsjintwurdiget, en de antwurden fermannichfâldigje: in bedriuw, in listener, in iepenbier útgongsadres, in berikberensresultaat. Elts is legitime, en se sûnder labels te mingen jout in totaal dat krekt klinkt en neat betsjut. De ienheid is in ûntwerpbeslissing, en dy moat nommen wurde foar de earste telling. It measte betizing yn publisearre VPN-statistyk komt fan it oerslaan fan dy stap.

In rige is in bewearing, gjin ding

Elke rige beweart eat oer de wrâld, en de bewearing hat in ûnderwerp. It neamen fan it ûnderwerp is wat de rige ferlykber makket mei in oare rige.

In oanbiederrrige beweart dat in organisaasje in tsjinst biedt. In einpuntrige beweart dat in bepaald adres en poarte in protokol prate. In útgongsrige beweart dat ferkear op in stuit in adres ferliet. In mjittrige beweart dat in sonde fan earne in resultaat waarnommen hat. Fjouwer ûnderwerpen, fjouwer skema’s, en in dataset dy’t se sûnder ûnderskieders mingt, kin hielendal net gearfoege wurde.

De ûnderskieder is it goedkeapste part fan it skema en it part dat it meast weilitten wurdt.

Kies de ienheid foar de telling

Kies de ienheid dy’t de fraach beantwurdet dy’t jo echt hawwe. Einpunten telle beantwurdet hoefolle listensters oankundige waarden; oanbieders telle beantwurdet hoefolle organisaasjes belutsen wiene; útgongsadressen telle beantwurdet hoefolle skynbere oarsprongen besteane.

Dy getallen binne net útwikselber, en de ferskillen binne grut. Ien oanbieder kin tûzenen adressen betsjinje, en ien adres kin ferskate protokollistensters foar ferskillende tsjinsten húsfêstje. In telling fan adressen is dêrom noch in boppegrins noch in ûndergrins foar in telling fan oanbieders. Neam de ienheid yn deselde sin as it getal, elke kear. In getal sûnder ienheid is in miening mei in desimale punt.

In iepenbier register leveret oankundige dielnimmers yn dy tsjinst. It is gjin ynventaris fan elke kommersjele, organisatoaryske en partikuliere útfiering yn ’e wrâld, en it dêrfoar oansjen blaast elke ôflate statistyk op.

Oarsprong heart by it skema

In rige sûnder oarsprong kin net opnij kontrolearre wurde. Registrearje it boarnerekord, de ynsamlingstiid mei syn tiidssône, de waarnimmingsmetoade en in lêst-sein-status.

Hâld oankundige attributen skieden fan waarnommen, want se drage ferskillend gewicht. It lânlabel fan in register is in oankundige bewearing, en it is gjin bewiis foar it fysike plak fan in tsjinner. In IP-tawizing identifisearret in netwurkblok, net elke hierder deryn, en net de hjoeddeiske operator fan in applikaasje derboppe. Twa kolommen en in noat ferslaan elke kear ien gearfoege fjild.

{"endpoint": "203.0.113.10:1194/udp", "unit": "endpoint", "advertised_country": "NL",
 "observed_at": "2026-11-03T02:15:00Z", "method": "udp_probe", "last_seen": "2026-11-03"}

Ien inkele JSON-rige makket it skema konkreet en is makliker te bepraten as in paragraaf beskriuwing. Tink derom dat de tiidstimpel in tiidssône draacht en de metoade neamd wurdt ynstee fan ymplisearre.

Smyt duplikaten fuort neffens de fraach

Duplikaten ôfhinkje fan de ienheid. Itselde adres mei twa protokollistensters is ien einpuntpear en twa tsjinsten, en it stil gearfoegjen feroaret de telling.

Smyt duplikaten fuort op it nivo dêr’t de fraach oer giet, en registrearje hoefolle rûge rigen yn elke behâlde rige gearfoelen. Dy ferhâlding is sels in befinining, want in grutte gearfoeging betsjut meast dat de boarne records per listener publisearret. In oanbieder mei in protte adressen jout it tsjinoerstelde patroan. Beide binne korrekt, en allinnich de registrearre ferhâlding lit de lêzer se ûnderskiede.

Hâld dan de rûge rigen. In tabel sûnder duplikaten is in oersjoch, en de mooglikheid om dy út de rûge ynfier opnij op te bouwen is wat it resultaat werhelber makket.

Publisearje de dekkingferklearring

Jou oan hoe’t boarnen keazen waarden, hokker regio’s of netwurken se dekke, en wat bewust ûntbrekt.

Partikuliere bedriuwsseinen en net-oankundige útfierings ferskine nea op iepenbiere listen, dat ôfwêzigens yn in register bewiist allinnich dat it register it net neamd hat. Kontrolearje de boarnebetingsten en weroerdrachtferlieningen foar publikaasje, en smyt fjilden fuort dy’t nea nedich wiene. In einpuntstúdzje freget selden abonnee-identiteiten, ynloggegevens of sneupersskiednis. Dy publisearje soe in oar projekt mei in oare rjochtfeardiging wêze.

wc -l vpn-endpoints.jsonl
jq -r '.unit' vpn-endpoints.jsonl | sort | uniq -c
jq -r '.advertised_country' vpn-endpoints.jsonl | sort | uniq -c | sort -rn | head

Dy trije opdrachten jouwe in rigetelling, in ienheidferdieling en in dekkingstekening neffens oankundige lân. Hâld datearre snapshots as de populaasje feroaret, en ûnderskied ferâldere fan befêstige ôfwêzigens. In beheinde dataset mei in dúdlike populaasje is better as in net-stipe bewearing dat it elke VPN op it ynternet befettet.