Како читати ревизијски извештај о VPN-у: обухват је важнији од значке

Значке је јефтино приказати, а скупо тумачити. Објављен ревизијски извештај је ограничен део инжењерског рада: именовани оцењивач прегледао је именоване компоненте, на именованој верзији, са наведеним методом и временским буџетом. Те четири чињенице одређују шта закључак може да подржи и обично су на првих неколико страница, а не у маркетиншком резимеу. Њихово читање траје десет минута и спречава честу грешку проширивања налаза о клијентској апликацији на целу услугу.

Шта одељак о обухвату заправо ограничава

Изјава о обухвату је ограда и све изван ње остаје без одговора, а не положено. Извештаји наводе прегледане компоненте, распон commit-ова или идентификатор верзије, коришћено окружење и дозвољени модел интеракције. Десктоп клијент, мобилна апликација, серверски код, позадина налога и продукцијска инфраструктура пет су различитих предмета и ангажман може покрити било који њихов подскуп.

Изузеци су једнако важни као укључења, јер се наводе намерно, а читају немаро. Систем налога описан као изван обухвата не подразумева се безбедним, а мобилна апликација остављена изван ангажмана једноставно није прегледана. Означите сваку нетестирану компоненту у својим белешкама као непознату и одуприте се пориву да празнину попуните репутацијом.

Две врсте тестирања одговарају на различита питања

Преглед изворног кода и тестирање у раду траже различите кварове. Рецензент који чита код може да прати извођење кључа, уочи недостајућу проверу дужине и расуђује о целом парсеру без његовог извршавања. Тестер на услузи која ради открива шта распоређена верзија заиста ради: сертификат који апликација одбија, резервни протокол који је још омогућен, крајњу тачку која одаје банер верзије кроз конфигурацију коју нико није прегледао.

Ниједно не замењује друго и извештај обично наводи које је извршено. Када резиме каже „ревидирано“ без те разлике, нејасноћа је у резимеу, не у извештају.

Ограничења приступа раде исто. Ангажман црне кутије не види серверску конфигурацију, а преглед архитектуре који никада не дотакне распоређену крајњу тачку не може приметити да се продукција разликује од дијаграма. Оба су легитимна; стапање њихових резултата није.

Како налаз постаје поправљена верзија

Вредна половина извештаја је табела отклањања: сваки налаз, његова тежина по методи оцењивача, одговор оператера и резултат поновног тестирања. Бројеви тежине долазе из изабране методологије, а не из природе, па упоређујте тежине унутар једног извештаја, а не између два са различитим скалама.

Затим повежите поправку са објављеним софтвером. Поправљени налаз је кориснику важан тек када је верзија која носи поправку она инсталирана, због чега се идентификатор верзије из извештаја и дневник промена издања морају читати заједно. Поновно тестирање које је покрило поправку затвара круг; нетестирана поправка је тврдња. Такав је и поправка испоручена само у грани коју ниједно стабилно издање није спојило.

Шта вам значка не може рећи

Одсуство налаза није доказ одсуства недостатака. Кратак ангажман с фиксним буџетом нешто ће пропустити, а поштено читање чистог извештаја јесте да оцењивач није нашао класе проблема које је тражио у доступном времену.

Значка такође не може говорити о својствима изван свог обухвата. Тврдње о пракси евидентирања, надлежности или чувању живе у документу политике, а не у ревизији клијентске апликације, и никаква репутација оцењивача не прелази ту границу.

Бележење доказа које можете бранити

Напишите цитат у три дела: компонента, верзија и потврђена поправка. Објављен ангажман као што је VPN ревизија коју је наручила Mozilla подржава тачно оне тврдње које његов обухват описује и ништа шире, што ипак вреди прилично много када је цитат прецизан. Исти извештај цитиран за нешто што никада није прегледао вреди мање од никаквог цитата, јер позива на поверење које нико није заслужио.

Када тврђено својство падне изван сваког доступног извештаја, оставите га нерешеним у документу. Нерешена линија позива на допунско питање; значка не. Једини изузетак је својство које решава други, једнако конкретан документ, и тада се мења цитат, а не тврдња.

Још две навике чине читање трајним: забележите датум извештаја према издању које заиста извршавате и чувајте разлику између онога што је тестирано и онога што сте распоредили. Обоје претварају одлуку о поверењу у нешто што колега може да провери.