Membaca laporan audit VPN: cakupan lebih penting daripada lencana

Lencana murah ditampilkan dan mahal ditafsirkan. Laporan audit yang diterbitkan adalah bagian kerja teknik yang terbatas: penilai bernama memeriksa komponen bernama, pada versi bernama, dengan metode yang dinyatakan dan anggaran waktu. Keempat fakta itu menentukan apa yang dapat didukung kesimpulan, dan biasanya ada di beberapa halaman pertama, bukan di ringkasan pemasaran. Membacanya memakan sepuluh menit dan mencegah kesalahan umum memperluas temuan pada aplikasi klien ke seluruh layanan.

Apa yang sebenarnya dibatasi bagian cakupan

Pernyataan cakupan adalah pagar, dan segala sesuatu di luarnya tidak terjawab, bukan lulus. Laporan mencantumkan komponen yang diperiksa, rentang commit atau pengenal build, lingkungan yang digunakan, dan model interaksi yang diizinkan. Klien desktop, aplikasi seluler, kode server, backend akun, dan infrastruktur produksi adalah lima subjek berbeda, dan sebuah penugasan dapat mencakup subset mana pun darinya.

Pengecualian sama pentingnya dengan pencantuman, karena dinyatakan dengan sengaja dan dibaca dengan ceroboh. Sistem akun yang dijelaskan sebagai di luar cakupan tidak secara implisit aman, dan aplikasi seluler yang ditinggalkan dari penugasan memang tidak diperiksa. Tandai setiap komponen yang belum diuji dalam catatan Anda sebagai tidak diketahui, dan tahan dorongan untuk mengisi celah dengan reputasi.

Dua jenis pengujian menjawab pertanyaan berbeda

Tinjauan kode sumber dan pengujian saat berjalan mencari kegagalan yang berbeda. Peninjau yang membaca kode dapat mengikuti penurunan kunci, melihat pemeriksaan panjang yang hilang, dan menalar seluruh parser tanpa menjalankannya. Penguji terhadap layanan yang berjalan menemukan apa yang sebenarnya dilakukan build yang dipasang: sertifikat yang ditolak aplikasi, protokol cadangan yang masih aktif, titik akhir yang membocorkan spanduk versi melalui konfigurasi yang tidak ditinjau siapa pun.

Keduanya tidak saling menggantikan, dan laporan biasanya menyebutkan mana yang dilakukan. Ketika ringkasan mengatakan «diaudit» tanpa perbedaan itu, ambiguitasnya ada di ringkasan, bukan di laporan.

Batas akses melakukan hal yang sama. Penugasan kotak hitam tidak dapat melihat konfigurasi server, dan tinjauan arsitektur yang tidak pernah menyentuh titik akhir terpasang tidak dapat menyadari bahwa produksi berbeda dari diagram. Keduanya sah; mencampur hasilnya tidak.

Bagaimana temuan menjadi versi yang diperbaiki

Separuh berharga dari laporan adalah tabel remediasi: setiap temuan, tingkat keparahannya menurut metode penilai, tanggapan operator, dan hasil uji ulang. Angka keparahan berasal dari metodologi yang dipilih, bukan dari alam, jadi bandingkan keparahan dalam satu laporan, bukan antara dua dengan skala berbeda.

Lalu hubungkan perbaikan dengan perangkat lunak yang dirilis. Temuan yang diperbaiki baru penting bagi pengguna ketika versi yang membawa perbaikan itulah yang terpasang, karena itu pengenal build laporan dan catatan perubahan rilis harus dibaca bersama. Uji ulang yang mencakup perbaikan menutup lingkaran; perbaikan yang tidak diuji adalah klaim. Begitu pula perbaikan yang dikirim hanya di cabang yang tidak pernah digabungkan rilis stabil mana pun.

Apa yang tidak dapat diberitahukan lencana

Tidak adanya temuan bukan bukti tidak adanya cacat. Penugasan singkat dengan anggaran tetap akan melewatkan hal-hal, dan pembacaan jujur atas laporan yang bersih adalah bahwa penilai tidak menemukan kelas masalah yang dicari dalam waktu yang tersedia.

Lencana juga tidak dapat berbicara tentang sifat di luar cakupannya. Klaim tentang praktik pencatatan, yurisdiksi, atau penyimpanan hidup dalam dokumen kebijakan, bukan dalam audit aplikasi klien, dan tidak ada reputasi penilai yang menyeberangi batas itu.

Mencatat bukti yang dapat Anda pertahankan

Tulis kutipan dalam tiga bagian: komponen, versi, dan perbaikan yang terverifikasi. Penugasan terbitan seperti audit VPN yang ditugaskan Mozilla mendukung persis pernyataan yang dijelaskan cakupannya dan tidak lebih luas, yang tetap cukup bernilai ketika kutipannya tepat. Laporan yang sama dikutip untuk sesuatu yang tidak pernah diperiksanya bernilai kurang daripada tanpa kutipan, karena mengundang keyakinan yang tidak diperoleh siapa pun.

Ketika sifat yang diklaim berada di luar setiap laporan yang tersedia, biarkan tidak terselesaikan dalam dokumen. Baris yang tidak terselesaikan mengundang pertanyaan lanjutan; lencana tidak. Satu-satunya pengecualian adalah sifat yang diselesaikan dokumen lain yang sama spesifiknya, dan kemudian kutipan yang berubah, bukan klaimnya.

Dua kebiasaan lagi membuat pembacaan bertahan: catat tanggal laporan terhadap rilis yang benar-benar Anda jalankan, dan simpan selisih antara yang diuji dan yang Anda pasang. Keduanya mengubah keputusan kepercayaan menjadi sesuatu yang dapat diperiksa kolega.