Ženklelius pigu rodyti ir brangu aiškinti. Paskelbta audito ataskaita yra apribotas inžinerinio darbo gabalas: įvardytas vertintojas ištyrė įvardytus komponentus, įvardytoje versijoje, su nurodytu metodu ir laiko biudžetu. Šie keturi faktai lemia, ką išvada gali pagrįsti, ir jie paprastai būna pirmuose puslapiuose, o ne rinkodaros santraukoje. Jų perskaitymas užima dešimt minučių ir užkerta kelią dažnai klaidai išplėsti kliento programėlės radinį visai paslaugai.

Ką iš tikrųjų riboja apimties skyrius

Apimties pareiškimas yra tvora, ir viskas už jos lieka neatsakyta, o ne praėjusi. Ataskaitos išvardija ištirtus komponentus, commit intervalą arba build identifikatorių, naudotą aplinką ir leidžiamą sąveikos modelį. Darbalaukio klientas, mobilioji programėlė, serverio kodas, paskyros backend ir gamybinė infrastruktūra yra penki skirtingi subjektai, ir užduotis gali apimti bet kurį jų poaibį.

Išimtys svarbios tiek pat, kiek įtraukimai, nes jos nurodomos sąmoningai, o skaitomos nerūpestingai. Paskyrų sistema, aprašyta kaip ne apimties, nėra savaime laikoma saugia, o iš užduoties išleista mobilioji programėlė tiesiog neištirta. Savo užrašuose kiekvieną netestuotą komponentą pažymėkite kaip nežinomą ir atsispirkite pagundai užpildyti spragą reputacija.

Dviejų rūšių testai atsako į skirtingus klausimus

Šaltinio kodo peržiūra ir vykdymo laiko testavimas ieško skirtingų gedimų. Kodą skaitantis recenzentas gali atsekti rakto išvedimą, pastebėti trūkstamą ilgio patikrą ir samprotauti apie visą analizatorių jo nevykdydamas. Testuotojas prieš veikiančią paslaugą atskleidžia, ką diegta versija iš tikrųjų daro: sertifikatą, kurio programėlė atsisako, dar įjungtą atsarginį protokolą, galinį tašką, kuris nutekina versijos reklaminę juostą per niekieno neperžiūrėtą konfigūraciją.

Nė vienas nepakeičia kito, ir ataskaita paprastai nurodo, kuris buvo atliktas. Kai santrauka be šio skirtumo sako „audituota“, dviprasmybė yra santraukoje, o ne ataskaitoje.

Prieigos apribojimai daro tą patį. Juodosios dėžės užduotis nemato serverio konfigūracijos, o architektūros peržiūra, kuri niekada neliečia įdiegto galinio taško, negali pastebėti, kad gamyba skiriasi nuo schemos. Abu yra teisėti; jų rezultatų maišymas — ne.

Kaip radinys tampa pataisyta versija

Vertinga ataskaitos pusė yra taisymo lentelė: kiekvienas radinys, jo sunkumas pagal vertintojo metodą, operatoriaus atsakymas ir pakartotinio testo rezultatas. Sunkumo skaičiai kyla iš pasirinktos metodikos, o ne iš gamtos, todėl sunkumą lyginkite vienoje ataskaitoje, o ne tarp dviejų su skirtingomis skalėmis.

Tada susiekite pataisymą su išleista programine įranga. Pataisytas radinys naudotojui svarbus tik tada, kai įdiegta yra versija, turinti pataisymą, todėl ataskaitos build identifikatorių ir leidimo pakeitimų žurnalą reikia skaityti kartu. Pakartotinis testas, apėmęs pataisymą, uždaro ciklą; netestuotas pataisymas yra teiginys. Taip pat ir pataisymas, išleistas tik šakoje, kurios nesujungė joks stabilus leidimas.

Ko ženklelis negali pasakyti

Radinių nebuvimas nėra defektų nebuvimo įrodymas. Trumpa užduotis su fiksuotu biudžetu kai ką praleis, o švarios ataskaitos sąžiningas skaitymas yra toks: vertintojas nerado tų problemų klasių, kurių ieškojo turimu laiku.

Ženklelis taip pat negali kalbėti apie savybes, esančias už jo apimties. Teiginiai apie registravimo praktiką, jurisdikciją ar saugojimą gyvena politikos dokumente, o ne kliento programėlės audite, ir jokia vertintojo reputacija neperžengia šios ribos.

Užfiksuoti įrodymus, kuriuos galite apginti

Citavimą rašykite trimis dalimis: komponentas, versija ir patvirtintas pataisymas. Paskelbta užduotis, pavyzdžiui, Mozilla užsakytas VPN auditas pagrindžia būtent tuos teiginius, kuriuos aprašo jos apimtis, ir nieko platesnio, o tai vis dar verta nemažai, kai citata tiksli. Ta pati ataskaita, cituojama dėl to, ko ji niekada netyrė, verta mažiau nei jokios citatos, nes ji kviečia pasitikėjimą, kurio niekas nenusipelnė.

Kai teigiama savybė patenka už visų turimų ataskaitų, palikite ją dokumente neišspręstą. Neišspręsta eilutė kviečia papildomą klausimą; ženklelis ne. Vienintelė išimtis yra savybė, kurią išsprendžia kitas, lygiai toks pat konkretus dokumentas, ir tada keičiasi citata, o ne teiginys.

Dar du įpročiai daro skaitymą ilgaamžį: pažymėkite ataskaitos datą prieš leidimą, kurį iš tikrųjų naudojate, ir saugokite skirtumą tarp to, kas testuota, ir to, ką įdiegėte. Abu paverčia pasitikėjimo sprendimą kažkuo, ką kolega gali patikrinti.

Susiję straipsniai