Å lese ein VPN-revisjonsrapport: omfanget slår merket

Merke er billeg å vise og dyrt å tolke. Ein publisert revisjonsrapport er eit avgrensa stykke ingeniørarbeid: ein namngjeven vurderar undersøkte namngjevne komponentar, på ein namngjeven versjon, med ein oppgjeven metode og eit tidsbudsjett. Desse fire fakta avgjer kva konklusjonen kan underbyggje, og dei står vanlegvis på dei første sidene framfor i marknadsføringssamandraget. Å lese dei tek ti minutt og hindrar den vanlege feilen å utvide eit funn om ein klientapp til ei heil teneste.

Kva omfangsavsnittet eigentleg avgrensar

Ei omfangserklæring er eit gjerde, og alt utanfor er ubesvart framfor bestått. Rapportane listar opp dei undersøkte komponentane, commit-området eller bygg-identifikatoren, miljøet som vart brukt og den tillatne interaksjonsmodellen. Ein skrivebordsklient, ein mobilapp, serverkoden, konto-backenden og produksjonsinfrastrukturen er fem ulike emne, og eit oppdrag kan dekkje ein kvar delmengd av dei.

Utelatingar tyder like mykje som inkluderingar, fordi dei vert oppgjevne med vilje og lesne slurvete. Eit kontosystem skildra som utanfor omfang vert ikkje anteke å vere sikkert, og ein mobilapp som vert halden utanfor eit oppdrag er rett og slett ikkje undersøkt. Merk kvar utesta komponent i dine eigne notat som ukjend, og motstå trangen til å fylle gapet med omdøme.

To typar test svarar på ulike spørsmål

Kjeldegjennomgang og test under køyring leitar etter ulike feil. Ein gjennomgåar som les kode kan følgje ei nøkkelavleiing, oppdage ein manglande lengdekontroll og resonnere om ein heil parser utan å køyre han. Ein testar mot ei køyrande teneste oppdagar kva den utrulla byggja faktisk gjer: eit sertifikat appen avviser, ein reserveprotokoll som framleis er aktivert, eit endepunkt som lekker eit versjonsbanner gjennom ein konfigurasjon ingen har gjennomgått.

Ingen av dei erstattar den andre, og rapporten namngjev vanlegvis kva som vart utført. Når eit samandrag seier «revisjonert» utan den skilnaden, ligg uklarleiken i samandraget, ikkje i rapporten.

Tilgangsavgrensingar gjer same arbeidet. Eit svart-boks-oppdrag kan ikkje sjå serverkonfigurasjonen, og ein arkitekturgjennomgang som aldri rører eit utrulla endepunkt kan ikkje oppdage at produksjonen avvik frå diagrammet. Begge er legitime; å blande resultata deira er det ikkje.

Korleis eit funn vert ein retta versjon

Den verdfulle halvdelen av ein rapport er utbetringstabellen: kvart funn, alvorsgrada etter metoden til vurderaren, svaret til operatøren og resultatet av nyttesten. Alvorsgradstal kjem frå ein vald metodikk og ikkje frå naturen, så samanlikn alvorsgrad innanfor éin rapport i staden for mellom to med ulike skalaer.

Kople deretter rettinga til utgjeven programvare. Eit retta funn betyr noko for ein brukar først når versjonen som ber rettinga er den installerte, og difor må bygg-identifikatoren til ein rapport og endringsloggen til ei utgåve lesast saman. Ein nyttest som dekte rettinga lukkar sløyfa; ei utesta retting er ein påstand. Det same er ei retting som berre vart send i ein grein som ingen stabil utgåve nokon gong slo saman.

Kva merket ikkje kan fortelje deg

Fråvær av funn er ikkje prov for fråvær av feil. Eit kort oppdrag med fast budsjett vil oversjå ting, og den ærlege lesinga av ein rein rapport er at vurderaren ikkje fann dei problemklassane dei leitte etter i den tida som var tilgjengeleg.

Merket kan heller ikkje snakke for eigenskapar utanfor sitt omfang. Påstandar om loggføringspraksis, jurisdiksjon eller oppbevaring lever i eit policydokument, ikkje i ein revisjon av ein klientapplikasjon, og ingen omdøme hjå vurderaren vert overført over den grensa.

Å registrere prov du kan forsvare

Skriv siteringa i tre delar: komponenten, versjonen og den stadfesta rettinga. Eit publisert oppdrag som VPN-revisjonen bestilt av Mozilla underbyggjer nøyaktig dei utsegnene som omfanget skildrar og ingenting breiare, noko som framleis er ganske mykje verdt når siteringa er presis. Den same rapporten sitert for noko han aldri undersøkte er mindre verdt enn inga sitering, fordi han inviterer til ei tillit ingen har fortent.

Når ein påstått eigenskap fell utanfor kvar tilgjengeleg rapport, lat han stå uavklart i dokumentet. Ei uavklart line inviterer til eit oppfølgingsspørsmål; eit merke gjer det ikkje. Det einaste unntaket er ein eigenskap som eit anna, like spesifikt dokument avgjer, og då endrar siteringa seg i staden for påstanden.

To vanar til gjer lesinga varig: noter rapportdatoen mot utgåva du faktisk køyrer, og hald skilnaden mellom det som vart testa og det du rulla ut. Begge gjer ei tillitsavgjerd til noko ein kollega kan kontrollere.