Как читать отчёт об аудите VPN: объём важнее значка

Значки дёшево показывать и дорого интерпретировать. Опубликованный отчёт об аудите — это ограниченный кусок инженерной работы: названный оценщик исследовал названные компоненты на названной версии, с заявленным методом и бюджетом времени. Эти четыре факта определяют, что может подкрепить вывод, и обычно они находятся на первых страницах, а не в маркетинговом резюме. Их чтение занимает десять минут и предотвращает распространённую ошибку — распространить находку о клиентском приложении на весь сервис.

Что на самом деле ограничивает раздел об объёме

Заявление об объёме — это забор, и всё за его пределами остаётся без ответа, а не пройденным. Отчёты перечисляют проверенные компоненты, диапазон коммитов или идентификатор сборки, использованное окружение и разрешённую модель взаимодействия. Настольный клиент, мобильное приложение, серверный код, бэкенд учётной записи и производственная инфраструктура — пять разных предметов, и проект может охватывать любое их подмножество.

Исключения важны не меньше включений, потому что они указываются намеренно, а читаются небрежно. Система учётных записей, описанная как вне объёма, не подразумевается безопасной, а мобильное приложение, оставленное за рамками проекта, просто не исследовано. Отмечайте каждый непроверенный компонент в своих заметках как неизвестный и сопротивляйтесь искушению заполнить пробел репутацией.

Два вида проверки отвечают на разные вопросы

Обзор исходного кода и тестирование во время работы ищут разные отказы. Рецензент, читающий код, может проследить вывод ключа, заметить отсутствующую проверку длины и рассуждать о целом парсере, не запуская его. Тестировщик на работающем сервисе обнаруживает, что на самом деле делает развёрнутая сборка: сертификат, который приложение отвергает, всё ещё включённый резервный протокол, конечная точка, выдающая баннер версии через конфигурацию, которую никто не проверял.

Ни один не заменяет другой, и отчёт обычно указывает, какой именно выполнялся. Когда резюме говорит «проверено» без этого различия, неоднозначность в резюме, а не в отчёте.

Ограничения доступа делают то же самое. Проект «чёрный ящик» не видит конфигурацию сервера, а обзор архитектуры, который никогда не касается развёрнутой конечной точки, не может заметить, что производство отличается от схемы. Оба законны; смешивать их результаты — нет.

Как находка становится исправленной версией

Ценная половина отчёта — таблица исправлений: каждая находка, её серьёзность по методу оценщика, ответ оператора и результат повторной проверки. Числа серьёзности берутся из выбранной методологии, а не из природы, поэтому сравнивайте серьёзность внутри одного отчёта, а не между двумя с разными шкалами.

Затем свяжите исправление с выпущенным программным обеспечением. Исправленная находка важна для пользователя только когда установлена версия, несущая исправление, поэтому идентификатор сборки отчёта и журнал изменений выпуска нужно читать вместе. Повторная проверка, охватившая исправление, замыкает цикл; непроверенное исправление — это утверждение. Так же и исправление, выпущенное только в ветке, которую ни один стабильный выпуск так и не слил.

Чего значок не может вам сказать

Отсутствие находок не является доказательством отсутствия дефектов. Короткий проект с фиксированным бюджетом что-то упустит, и честное чтение чистого отчёта состоит в том, что оценщик не нашёл тех классов проблем, которые искал, за доступное время.

Значок также не может говорить о свойствах за пределами своего объёма. Утверждения о практике журналирования, юрисдикции или хранении живут в документе политики, а не в аудите клиентского приложения, и никакая репутация оценщика не переходит эту границу.

Фиксировать доказательства, которые вы можете защитить

Запишите ссылку в трёх частях: компонент, версия и подтверждённое исправление. Опубликованный проект, например аудит VPN, заказанный Mozilla подтверждает именно те утверждения, которые описывает его объём, и ничего более широкого, что всё равно немало стоит при точной ссылке. Тот же отчёт, приведённый в подтверждение того, что он никогда не исследовал, стоит меньше, чем отсутствие ссылки, потому что приглашает доверие, которого никто не заслужил.

Когда заявленное свойство выходит за пределы всех доступных отчётов, оставьте его неразрешённым в документе. Неразрешённая строка приглашает к уточняющему вопросу; значок — нет. Единственное исключение — свойство, которое решает другой, столь же конкретный документ, и тогда меняется ссылка, а не утверждение.

Ещё две привычки делают чтение долговечным: отмечайте дату отчёта относительно выпуска, который вы действительно запускаете, и сохраняйте разницу между тем, что проверялось, и тем, что вы развернули. Обе превращают решение о доверии в то, что коллега может проверить.