Att läsa en VPN-revisionsrapport: omfånget slår märket

Märken är billiga att visa och dyra att tolka. En publicerad revisionsrapport är en avgränsad bit ingenjörsarbete: en namngiven granskare undersökte namngivna komponenter, på en namngiven version, med en angiven metod och en tidsbudget. Dessa fyra fakta avgör vad slutsatsen kan stödja, och de står oftast på de första sidorna snarare än i marknadsföringssammanfattningen. Att läsa dem tar tio minuter och förhindrar det vanliga misstaget att utsträcka ett fynd om en klientapp till en hel tjänst.

Vad avsnittet om omfattning egentligen avgränsar

En omfattningsförklaring är ett staket, och allt utanför är obesvarat snarare än godkänt. Rapporterna listar de undersökta komponenterna, commit-intervallet eller build-identifieraren, miljön som användes och den tillåtna interaktionsmodellen. En skrivbordsklient, en mobilapp, serverkoden, kontots backend och produktionsinfrastrukturen är fem olika ämnen, och ett uppdrag kan täcka vilken delmängd som helst av dem.

Uteslutningar betyder lika mycket som inkluderingar, eftersom de anges med avsikt och läses slarvigt. Ett kontosystem som beskrivs som utanför omfattning antas inte vara säkert, och en mobilapp som lämnas utanför ett uppdrag är helt enkelt inte undersökt. Markera varje otestad komponent i dina egna anteckningar som okänd och motstå frestelsen att fylla luckan med anseende.

Två typer av test svarar på olika frågor

Källkodsgranskning och test under drift letar efter olika fel. En granskare som läser kod kan följa en nyckelhärledning, upptäcka en saknad längdkontroll och resonera om en hel parser utan att köra den. En testare mot en körande tjänst upptäcker vad den utrullade builden faktiskt gör: ett certifikat som appen avvisar, ett reservprotokoll som fortfarande är aktiverat, en slutpunkt som läcker en versionsbanner via en konfiguration som ingen har granskat.

Ingen av dem ersätter den andra, och rapporten anger oftast vilken som utfördes. När en sammanfattning säger «reviderad» utan den distinktionen ligger otydligheten i sammanfattningen, inte i rapporten.

Åtkomstbegränsningar gör samma arbete. Ett svartlådsuppdrag kan inte se serverkonfigurationen, och en arkitekturgranskning som aldrig rör en utrullad slutpunkt kan inte upptäcka att produktionen avviker från diagrammet. Båda är legitima; att blanda deras resultat är det inte.

Hur ett fynd blir en rättad version

Den värdefulla halvan av en rapport är åtgärdstabellen: varje fynd, dess allvarlighetsgrad enligt granskarens metod, operatörens svar och resultatet av omtestet. Allvarlighetsgrader kommer från en vald metodik och inte från naturen, så jämför allvarlighetsgrader inom en rapport i stället för mellan två med olika skalor.

Koppla sedan rättelsen till utgiven programvara. Ett rättat fynd spelar roll för en användare först när versionen som bär rättelsen är den installerade, och därför måste en rapports build-identifierare och en utgivnings ändringslogg läsas tillsammans. Ett omtest som täckte rättelsen sluter kretsen; en otestad rättelse är ett påstående. Det gäller också en rättelse som bara släpptes i en gren som ingen stabil utgivning någonsin sammanfogade.

Vad märket inte kan berätta för dig

Frånvaro av fynd är inte bevis på frånvaro av defekter. Ett kort uppdrag med fast budget kommer att missa saker, och den ärliga läsningen av en ren rapport är att granskaren inte hittade de problemklasser som eftersöktes inom den tid som fanns.

Märket kan inte heller tala för egenskaper utanför sitt omfång. Påståenden om loggningspraxis, jurisdiktion eller lagring lever i ett policydokument, inte i en revision av en klientapplikation, och inget anseende hos granskaren överförs över den gränsen.

Att registrera bevis du kan försvara

Skriv citeringen i tre delar: komponenten, versionen och den verifierade rättelsen. Ett publicerat uppdrag som VPN-revisionen som Mozilla beställt stöder exakt de påståenden som dess omfång beskriver och inget vidare, vilket fortfarande är ganska mycket värt när citeringen är precis. Samma rapport citerad för något den aldrig undersökte är mindre värd än ingen citering, eftersom den bjuder in ett förtroende som ingen har förtjänat.

När en påstådd egenskap faller utanför varje tillgänglig rapport, låt den stå oklar i dokumentet. En oklar rad bjuder in en följdfråga; ett märke gör det inte. Det enda undantaget är en egenskap som ett annat, lika specifikt dokument avgör, och då ändras citeringen i stället för påståendet.

Ytterligare två vanor gör läsningen hållbar: notera rapportdatumet mot den utgivning du faktiskt kör, och håll skillnaden mellan det som testades och det du rullade ut. Båda gör ett förtroendebeslut till något en kollega kan kontrollera.