At læse en VPN-revisionsrapport: omfanget slår mærket

Mærker er billige at vise og dyre at tolke. En offentliggjort revisionsrapport er et afgrænset stykke ingeniørarbejde: en navngivet vurderingsmand undersøgte navngivne komponenter på en navngivet version med en angivet metode og et tidsbudget. De fire fakta afgør, hvad konklusionen kan understøtte, og de står normalt på de første par sider frem for i markedsføringsresuméet. At læse dem tager ti minutter og forhindrer den almindelige fejl at udvide et fund om en klientapp til en hel tjeneste.

Hvad afsnittet om omfang egentlig afgrænser

En omfangserklæring er et hegn, og alt uden for det er ubesvaret frem for bestået. Rapporter lister de undersøgte komponenter, commit-intervallet eller build-identifikatoren, det anvendte miljø og den tilladte interaktionsmodel. En skrivebordsklient, en mobilapp, serverkoden, konto-backenden og produktionsinfrastrukturen er fem forskellige emner, og en opgave kan dække enhver delmængde af dem.

Udeladelser betyder lige så meget som inklusioner, fordi de angives med vilje og læses skødesløst. Et kontosystem beskrevet som uden for omfang antages ikke for at være sikkert, og en mobilapp udeladt af en opgave er simpelthen ikke undersøgt. Markér hver utestet komponent i dine egne noter som ukendt, og modstå trangen til at udfylde hullet med omdømme.

To slags test besvarer forskellige spørgsmål

Kildegennemgang og test under kørsel leder efter forskellige fejl. En anmelder, der læser kode, kan følge en nøgleafledning, få øje på en manglende længdekontrol og ræsonnere om en hel parser uden at køre den. En tester mod en kørende tjeneste opdager, hvad den udrullede build faktisk gør: et certifikat, som appen afviser, en fallback-protokol, der stadig er aktiveret, et endepunkt, der lækker et versionsbanner gennem en konfiguration, som ingen har gennemgået.

Ingen af dem erstatter den anden, og rapporten angiver normalt, hvilken der blev udført. Når et resumé siger «revideret» uden den sondring, ligger uklarheden i resuméet, ikke i rapporten.

Adgangsbegrænsninger gør det samme arbejde. En blackbox-opgave kan ikke se serverkonfigurationen, og en arkitekturgang, der aldrig rører et udrullet endepunkt, kan ikke bemærke, at produktionen afviger fra diagrammet. Begge er legitime; at blande deres resultater er ikke.

Hvordan et fund bliver en rettet version

Den værdifulde halvdel af en rapport er afhjælpningstabellen: hvert fund, dets alvor efter vurderingsmandens metode, operatørens svar og resultatet af gentesten. Alvorsgrader kommer fra en valgt metodologi og ikke fra naturen, så sammenlign alvor inden for én rapport i stedet for mellem to med forskellige skalaer.

Forbind derefter rettelsen med frigivet software. Et rettet fund betyder kun noget for en bruger, når den version, der bærer rettelsen, er den installerede, og derfor skal en rapports build-identifikator og en udgivelses changelog læses sammen. En gentest, der dækkede rettelsen, lukker kredsen; en utestet rettelse er en påstand. Det samme er en rettelse, der kun blev sendt i en gren, som ingen stabil udgivelse nogensinde flettede.

Hvad mærket ikke kan fortælle dig

Fravær af fund er ikke bevis for fravær af fejl. En kort opgave med et fast budget vil overse ting, og den ærlige læsning af en ren rapport er, at vurderingsmanden ikke fandt de klasser af problemer, de ledte efter, inden for den tid, der var til rådighed.

Mærket kan heller ikke tale for egenskaber uden for sit omfang. Påstande om logningspraksis, jurisdiktion eller opbevaring lever i et politikdokument, ikke i en revision af en klientapplikation, og ingen omdømme hos vurderingsmanden overføres over den grænse.

At registrere beviser, du kan forsvare

Skriv citationen i tre dele: komponenten, versionen og den verificerede rettelse. En offentliggjort opgave som den Mozilla-bestilte VPN-revision understøtter præcis de udsagn, dens omfang beskriver, og intet bredere, hvilket stadig er ret meget værd, når citationen er præcis. Den samme rapport citeret for noget, den aldrig undersøgte, er mindre værd end ingen citation, fordi den indbyder til en tillid, ingen har fortjent.

Når en påstået egenskab falder uden for enhver tilgængelig rapport, lad den stå uafklaret i dokumentet. En uafklaret linje indbyder til et opfølgende spørgsmål; et mærke gør ikke. Den eneste undtagelse er en egenskab, som et andet, lige så specifikt dokument afgør, og så ændres citationen i stedet for påstanden.

To flere vaner gør læsningen holdbar: notér rapportdatoen mod den udgivelse, du faktisk kører, og hold forskellen mellem det, der blev testet, og det, du udrullede. Begge gør en tillidsbeslutning til noget, en kollega kan kontrollere.