לקרוא דוח ביקורת VPN: ההיקף חשוב מהתג
תג ביקורת מסתיר ארבע עובדות ששווה לקרוא: אילו רכיבים נבדקו, איזו גרסה, מה הוחרג ואילו תיקונים נבדקו מחדש.
תגים זולים להצגה ויקרים לפרשנות. דוח ביקורת שפורסם הוא פיסת עבודה הנדסית תחומה: מעריך בשם בדק רכיבים בשם, בגרסה בשם, בשיטה מוצהרת ובתקציב זמן. ארבע העובדות האלה קובעות מה המסקנה יכולה לתמוך בו, והן בדרך כלל בעמודים הראשונים ולא בתקציר השיווקי. קריאתן אורכת עשר דקות ומונעת את הטעות הנפוצה של הרחבת ממצא על אפליקציית לקוח לשירות שלם.
מה פרק ההיקף באמת מגביל
הצהרת היקף היא גדר, וכל מה שמחוצה לה נשאר ללא מענה ולא עבר. דוחות מפרטים את הרכיבים שנבדקו, טווח הקומיטים או מזהה הבנייה, הסביבה שבה נעשה שימוש ומודל האינטראקציה המותר. לקוח שולחני, אפליקציית מובייל, קוד השרת, ה-backend של החשבון ותשתית הייצור הם חמישה נושאים שונים, ומשימה יכולה לכסות כל תת-קבוצה שלהם.
החרגות חשובות כמו הכללות, מפני שהן מוצהרות במכוון ונקראות ברשלנות. מערכת חשבונות שמתוארת כמחוץ להיקף אינה נחשבת באופן משתמע למאובטחת, ואפליקציית מובייל שהושארה מחוץ למשימה פשוט לא נבדקה. סמנו כל רכיב שלא נבדק בהערות שלכם כלא ידוע, והתנגדו לדחף למלא את החסר במוניטין.
שני סוגי בדיקה עונים על שאלות שונות
סקירת קוד מקור ובדיקה בזמן ריצה מחפשות כשלים שונים. סוקר שקורא קוד יכול לעקוב אחר גזירת מפתח, להבחין בבדיקת אורך חסרה ולנמק לגבי מנתח שלם בלי להריץ אותו. בודק מול שירות פועל מגלה מה הבנייה המוטמעת באמת עושה: תעודה שהאפליקציה דוחה, פרוטוקול גיבוי שעדיין מופעל, נקודת קצה שמדליפה באנר גרסה דרך תצורה שאיש לא סקר.
אף אחד מהם לא מחליף את השני, והדוח בדרך כלל מציין איזו מהן בוצעה. כשתקציר אומר «נבדק» בלי ההבחנה הזו, העמימות בתקציר, לא בדוח.
מגבלות גישה עושות את אותה עבודה. משימת קופסה שחורה לא יכולה לראות את תצורת השרת, וסקירת ארכיטקטורה שלא נוגעת אף פעם בנקודת קצה מוטמעת לא יכולה להבחין שהייצור שונה מהתרשים. שניהם לגיטימיים; ערבוב התוצאות שלהם לא.
איך ממצא הופך לגרסה מתוקנת
החצי החשוב של דוח הוא טבלת התיקון: כל ממצא, חומרתו לפי שיטת המעריך, תגובת המפעיל ותוצאת הבדיקה החוזרת. מספרי החומרה באים ממתודולוגיה נבחרת ולא מהטבע, לכן השוו חומרות בתוך דוח אחד ולא בין שניים עם סולמות שונים.
אחר כך חברו את התיקון לתוכנה ששוחררה. ממצא מתוקן חשוב למשתמש רק כשהגרסה שנושאת את התיקון היא המותקנת, ולכן יש לקרוא יחד את מזהה הבנייה של הדוח ואת יומן השינויים של השחרור. בדיקה חוזרת שכיסתה את התיקון סוגרת את המעגל; תיקון שלא נבדק הוא הצהרה. כך גם תיקון שנשלח רק בענף שאף שחרור יציב לא מיזג.
מה התג לא יכול לספר לכם
היעדר ממצאים אינו הוכחה להיעדר פגמים. משימה קצרה בתקציב קבוע תפספס דברים, והקריאה הכנה של דוח נקי היא שהמעריך לא מצא את סוגי הבעיות שחיפש בזמן שעמד לרשותו.
התג גם לא יכול לדבר בשם תכונות שמחוץ להיקפו. טענות על נוהג תיעוד, סמכות שיפוטית או שמירה חיות במסמך מדיניות, לא בביקורת של אפליקציית לקוח, ושום מוניטין של המעריך לא עובר את הגבול הזה.
תיעוד ראיות שתוכלו להגן עליהן
כתבו את הציטוט בשלושה חלקים: הרכיב, הגרסה והתיקון המאומת. משימה שפורסמה כמו ביקורת ה-VPN שהוזמנה על ידי Mozilla תומכת בדיוק בטענות שההיקף שלה מתאר ולא בשום דבר רחב יותר, וזה עדיין שווה לא מעט כשהציטוט מדויק. אותו דוח שמצוטט למשהו שהוא מעולם לא בדק שווה פחות מהיעדר ציטוט, מפני שהוא מזמין אמון שאיש לא הרוויח.
כשתכונה נטענת נופלת מחוץ לכל דוח זמין, השאירו אותה לא פתורה במסמך. שורה לא פתורה מזמינה שאלת המשך; תג לא. היוצא מן הכלל היחיד הוא תכונה שמסמך אחר, ספציפי באותה מידה, מכריע, ואז משתנה הציטוט ולא הטענה.
שני הרגלים נוספים הופכים את הקריאה לעמידה: רשמו את תאריך הדוח מול השחרור שאתם מריצים בפועל, ושמרו את הפער בין מה שנבדק למה שהטמעתם. שניהם הופכים החלטת אמון למשהו שעמית יכול לבדוק.