Як читати звіт про аудит VPN: обсяг важливіший за значок

Значки дешево показувати й дорого інтерпретувати. Опублікований звіт про аудит — це обмежений шматок інженерної роботи: названий оцінювач дослідив названі компоненти на названій версії, із заявленим методом і бюджетом часу. Ці чотири факти визначають, що може підкріпити висновок, і зазвичай вони на перших сторінках, а не в маркетинговому резюме. Їхнє читання займає десять хвилин і запобігає поширеній помилці — поширити знахідку про клієнтський застосунок на весь сервіс.

Що насправді обмежує розділ про обсяг

Заява про обсяг — це паркан, і все за ним залишається без відповіді, а не пройденим. Звіти перелічують перевірені компоненти, діапазон комітів або ідентифікатор збірки, використане середовище й дозволену модель взаємодії. Настільний клієнт, мобільний застосунок, серверний код, бекенд облікового запису й виробнича інфраструктура — п'ять різних предметів, і проєкт може охоплювати будь-яку їхню підмножину.

Виключення важливі не менше за включення, бо їх зазначають навмисно, а читають недбало. Система облікових записів, описана як поза обсягом, не вважається безпечною за замовчуванням, а мобільний застосунок, залишений поза проєктом, просто не досліджений. Позначайте кожен неперевірений компонент у своїх нотатках як невідомий і опирайтеся спокусі заповнити прогалину репутацією.

Два види перевірки відповідають на різні питання

Огляд вихідного коду й тестування під час роботи шукають різні відмови. Рецензент, який читає код, може простежити виведення ключа, помітити відсутню перевірку довжини й міркувати про весь парсер, не запускаючи його. Тестувальник на працюючому сервісі виявляє, що насправді робить розгорнута збірка: сертифікат, який застосунок відхиляє, усе ще ввімкнений резервний протокол, кінцева точка, що витікає банер версії через конфігурацію, яку ніхто не переглядав.

Жоден не замінює інший, і звіт зазвичай зазначає, який виконано. Коли резюме каже «перевірено» без цього розрізнення, неоднозначність у резюме, а не у звіті.

Обмеження доступу роблять те саме. Проєкт «чорна скринька» не бачить конфігурації сервера, а огляд архітектури, який ніколи не торкається розгорнутої кінцевої точки, не може помітити, що виробництво відрізняється від схеми. Обидва законні; змішувати їхні результати — ні.

Як знахідка стає виправленою версією

Цінна половина звіту — таблиця виправлень: кожна знахідка, її серйозність за методом оцінювача, відповідь оператора й результат повторної перевірки. Числа серйозності походять із вибраної методології, а не з природи, тому порівнюйте серйозність усередині одного звіту, а не між двома з різними шкалами.

Потім пов'яжіть виправлення з випущеним програмним забезпеченням. Виправлена знахідка важлива для користувача лише тоді, коли встановлена версія несе виправлення, тому ідентифікатор збірки зі звіту й журнал змін випуску треба читати разом. Повторна перевірка, що охопила виправлення, замикає цикл; неперевірене виправлення — це твердження. Так само й виправлення, випущене лише в гілці, яку жоден стабільний випуск так і не злив.

Чого значок не може вам сказати

Відсутність знахідок не є доказом відсутності дефектів. Короткий проєкт із фіксованим бюджетом щось пропустить, і чесне читання чистого звіту полягає в тому, що оцінювач не знайшов тих класів проблем, які шукав, за доступний час.

Значок також не може говорити про властивості поза своїм обсягом. Твердження про практику журналювання, юрисдикцію або зберігання живуть у документі політики, а не в аудиті клієнтського застосунку, і жодна репутація оцінювача не переходить цю межу.

Фіксувати докази, які ви можете захистити

Запишіть посилання в трьох частинах: компонент, версія й підтверджене виправлення. Опублікований проєкт, наприклад аудит VPN, замовлений Mozilla підтверджує саме ті твердження, які описує його обсяг, і нічого ширшого, що все одно чимало варте за точного посилання. Той самий звіт, наведений на підтвердження того, чого він ніколи не досліджував, вартий менше за відсутність посилання, бо запрошує довіру, якої ніхто не заслужив.

Коли заявлена властивість виходить за межі всіх доступних звітів, залиште її невирішеною в документі. Невирішений рядок запрошує до уточнювального питання; значок — ні. Єдиний виняток — властивість, яку вирішує інший, такий самий конкретний документ, і тоді змінюється посилання, а не твердження.

Ще дві звички роблять читання тривалим: зазначайте дату звіту щодо випуску, який ви справді запускаєте, і зберігайте різницю між тим, що перевірялося, і тим, що ви розгорнули. Обидві перетворюють рішення про довіру на те, що колега може перевірити.