VPN-auditointiraportin lukeminen: laajuus voittaa merkin

Merkkejä on halpa näyttää ja kallista tulkita. Julkaistu auditointiraportti on rajattu pala insinöörityötä: nimetty arvioija tutki nimettyjä osia nimetyllä versiolla, ilmoitetulla menetelmällä ja aikabudjetilla. Nämä neljä tosiasiaa määräävät, mitä johtopäätös voi tukea, ja ne ovat yleensä ensimmäisillä sivuilla eivätkä markkinointitiivistelmässä. Niiden lukeminen kestää kymmenen minuuttia ja estää yleisen virheen laajentaa asiakassovellusta koskeva havainto koko palveluun.

Mitä laajuusosio itse asiassa rajaa

Laajuuslausunto on aita, ja kaikki sen ulkopuolella on vastaamatonta eikä läpäistyä. Raportit listaavat tutkitut osat, commit-välin tai versiotunnisteen, käytetyn ympäristön ja sallitun vuorovaikutusmallin. Työpöytäasiakas, mobiilisovellus, palvelinkoodi, tilin backend ja tuotantoympäristö ovat viisi eri kohdetta, ja toimeksianto voi kattaa minkä tahansa niiden osajoukon.

Poissulkemiset merkitsevät yhtä paljon kuin mukaan ottamiset, koska ne ilmoitetaan tarkoituksella ja luetaan huolimattomasti. Laajuuden ulkopuolelle kuvattu tilijärjestelmä ei oletu turvalliseksi, ja toimeksiannosta pois jätetty mobiilisovellus on yksinkertaisesti tutkimatta. Merkitse jokainen testaamaton osa omiin muistiinpanoihisi tuntemattomaksi ja vastusta kiusausta täyttää aukko maineella.

Kaksi testilajia vastaa eri kysymyksiin

Lähdekoodin katselmointi ja ajonaikainen testaus etsivät eri vikoja. Koodia lukeva katselmoija voi seurata avaimen johtamista, havaita puuttuvan pituustarkistuksen ja pohtia koko jäsentäjää sitä suorittamatta. Käynnissä olevaa palvelua vasten testaaja löytää, mitä käyttöön otettu versio todella tekee: sertifikaatti, jonka sovellus hylkää, yhä käytössä oleva varaprotokolla, päätepiste, joka vuotaa versiobannerin konfiguraation kautta, jota kukaan ei katselmoinut.

Kumpikaan ei korvaa toista, ja raportti yleensä nimeää, kumpi tehtiin. Kun tiivistelmä sanoo «auditoitu» ilman tätä erottelua, epäselvyys on tiivistelmässä, ei raportissa.

Pääsyrajoitukset tekevät saman työn. Mustan laatikon toimeksianto ei näe palvelimen konfiguraatiota, eikä arkkitehtuurikatselmointi, joka ei koskaan kosketa käyttöön otettua päätepistettä, voi havaita, että tuotanto poikkeaa kaaviosta. Molemmat ovat legitiimejä; niiden tulosten sekoittaminen ei ole.

Miten havainnosta tulee korjattu versio

Raportin arvokas puolisko on korjaustaulukko: jokainen havainto, sen vakavuus arvioijan menetelmän mukaan, operaattorin vastaus ja uudelleentestauksen tulos. Vakavuusluvut tulevat valitusta metodologiasta eivätkä luonnosta, joten vertaa vakavuuksia yhden raportin sisällä, älä kahden eri asteikon raportin välillä.

Yhdistä sitten korjaus julkaistuun ohjelmistoon. Korjattu havainto on käyttäjälle merkityksellinen vasta, kun korjauksen kantava versio on asennettu, minkä vuoksi raportin versiotunniste ja julkaisun muutosloki on luettava yhdessä. Korjauksen kattanut uudelleentestaus sulkee kierron; testaamaton korjaus on väite. Niin on myös korjaus, joka toimitettiin vain haarassa, jota mikään vakaa julkaisu ei koskaan yhdistänyt.

Mitä merkki ei voi kertoa sinulle

Havaintojen puuttuminen ei ole todiste virheiden puuttumisesta. Lyhyt toimeksianto kiinteällä budjetilla jättää jotain huomaamatta, ja puhtaan raportin rehellinen luenta on, että arvioija ei löytänyt niitä ongelmaluokkia, joita hän etsi käytettävissä olevana aikana.

Merkki ei myöskään voi puhua laajuutensa ulkopuolisista ominaisuuksista. Väitteet lokituskäytännöistä, lainkäyttöalueesta tai säilytyksestä elävät politiikka-asiakirjassa, eivät asiakassovelluksen auditoinnissa, eikä mikään arvioijan maine ylitä sitä rajaa.

Sellaisten todisteiden kirjaaminen, joita voit puolustaa

Kirjoita viittaus kolmeen osaan: osa, versio ja vahvistettu korjaus. Julkaistu toimeksianto, kuten Mozillan tilaama VPN-auditointi tukee täsmälleen niitä väitteitä, jotka sen laajuus kuvaa, eikä mitään laajempaa, mikä on silti melkoisen arvokasta, kun viittaus on täsmällinen. Sama raportti viitattuna johonkin, mitä se ei koskaan tutkinut, on vähemmän arvokas kuin ei viittausta lainkaan, koska se kutsuu luottamusta, jota kukaan ei ansainnut.

Kun väitetty ominaisuus jää kaikkien saatavilla olevien raporttien ulkopuolelle, jätä se asiakirjassa ratkaisemattomaksi. Ratkaisematon rivi kutsuu jatkokysymykseen; merkki ei. Ainoa poikkeus on ominaisuus, jonka toinen, yhtä täsmällinen asiakirja ratkaisee, ja silloin viittaus muuttuu, ei väite.

Vielä kaksi tapaa tekee lukemisesta kestävää: merkitse raportin päivämäärä suhteessa julkaisuun, jota todella käytät, ja pidä ero sen välillä, mitä testattiin ja mitä otit käyttöön. Molemmat tekevät luottamuspäätöksestä jotain, jonka kollega voi tarkistaa.