Διαβάζοντας μια έκθεση ελέγχου VPN: το εύρος μετράει περισσότερο από το σήμα

Τα σήματα είναι φθηνά στην προβολή και ακριβά στην ερμηνεία. Μια δημοσιευμένη έκθεση ελέγχου είναι ένα οριοθετημένο κομμάτι μηχανικής εργασίας: ένας ονομαστικός αξιολογητής εξέτασε ονομαστικά στοιχεία, σε ονομαστική έκδοση, με δηλωμένη μέθοδο και χρονικό προϋπολογισμό. Αυτά τα τέσσερα γεγονότα καθορίζουν τι μπορεί να στηρίξει το συμπέρασμα και βρίσκονται συνήθως στις πρώτες σελίδες και όχι στη σύνοψη μάρκετινγκ. Η ανάγνωσή τους παίρνει δέκα λεπτά και αποτρέπει το συνηθισμένο λάθος να επεκταθεί ένα εύρημα για μια εφαρμογή πελάτη σε ολόκληρη υπηρεσία.

Τι πραγματικά οριοθετεί η ενότητα του εύρους

Μια δήλωση εύρους είναι φράχτης και ό,τι βρίσκεται έξω από αυτόν μένει αναπάντητο και όχι περασμένο. Οι εκθέσεις απαριθμούν τα εξετασθέντα στοιχεία, το εύρος commit ή το αναγνωριστικό έκδοσης, το περιβάλλον που χρησιμοποιήθηκε και το επιτρεπόμενο μοντέλο αλληλεπίδρασης. Ένας πελάτης επιφάνειας εργασίας, μια κινητή εφαρμογή, ο κώδικας διακομιστή, το backend του λογαριασμού και η υποδομή παραγωγής είναι πέντε διαφορετικά θέματα και μια ανάθεση μπορεί να καλύπτει οποιοδήποτε υποσύνολό τους.

Οι εξαιρέσεις μετρούν όσο και οι συμπεριλήψεις, γιατί δηλώνονται σκόπιμα και διαβάζονται απρόσεκτα. Ένα σύστημα λογαριασμών που περιγράφεται ως εκτός εύρους δεν υπονοείται ότι είναι ασφαλές, και μια κινητή εφαρμογή που μένει έξω από μια ανάθεση απλώς δεν εξετάστηκε. Σημειώστε κάθε μη δοκιμασμένο στοιχείο στις σημειώσεις σας ως άγνωστο και αντισταθείτε στην παρόρμηση να γεμίσετε το κενό με φήμη.

Δύο είδη δοκιμών απαντούν σε διαφορετικά ερωτήματα

Η ανασκόπηση πηγαίου κώδικα και οι δοκιμές σε εκτέλεση αναζητούν διαφορετικές αστοχίες. Ένας κριτικός που διαβάζει κώδικα μπορεί να ακολουθήσει μια παραγωγή κλειδιού, να εντοπίσει έναν έλεγχο μήκους που λείπει και να συλλογιστεί για ολόκληρο έναν parser χωρίς να τον εκτελέσει. Ένας δοκιμαστής απέναντι σε μια υπηρεσία που τρέχει ανακαλύπτει τι κάνει πραγματικά η αναπτυγμένη έκδοση: ένα πιστοποιητικό που η εφαρμογή απορρίπτει, ένα εφεδρικό πρωτόκολλο ακόμη ενεργό, ένα τελικό σημείο που διαρρέει ένα πανό έκδοσης μέσω ρυθμίσεων που κανείς δεν εξέτασε.

Κανένα δεν υποκαθιστά το άλλο και η έκθεση συνήθως αναφέρει ποιο εκτελέστηκε. Όταν μια σύνοψη λέει «ελέγχθηκε» χωρίς αυτή τη διάκριση, η ασάφεια είναι στη σύνοψη, όχι στην έκθεση.

Τα όρια πρόσβασης κάνουν την ίδια δουλειά. Μια ανάθεση μαύρου κουτιού δεν βλέπει τις ρυθμίσεις του διακομιστή και μια ανασκόπηση αρχιτεκτονικής που δεν αγγίζει ποτέ ένα αναπτυγμένο τελικό σημείο δεν μπορεί να παρατηρήσει ότι η παραγωγή διαφέρει από το διάγραμμα. Και τα δύο είναι θεμιτά· η συγχώνευση των αποτελεσμάτων τους δεν είναι.

Πώς ένα εύρημα γίνεται διορθωμένη έκδοση

Το πολύτιμο μισό μιας έκθεσης είναι ο πίνακας αποκατάστασης: κάθε εύρημα, η σοβαρότητά του κατά τη μέθοδο του αξιολογητή, η απάντηση του φορέα εκμετάλλευσης και το αποτέλεσμα της επανεξέτασης. Οι αριθμοί σοβαρότητας προέρχονται από επιλεγμένη μεθοδολογία και όχι από τη φύση, οπότε συγκρίνετε σοβαρότητες μέσα σε μία έκθεση και όχι ανάμεσα σε δύο με διαφορετικές κλίμακες.

Έπειτα συνδέστε τη διόρθωση με το κυκλοφορημένο λογισμικό. Ένα διορθωμένο εύρημα έχει σημασία για έναν χρήστη μόνο όταν η έκδοση που φέρει τη διόρθωση είναι η εγκατεστημένη, γι' αυτό το αναγνωριστικό έκδοσης μιας έκθεσης και το αρχείο αλλαγών μιας κυκλοφορίας πρέπει να διαβάζονται μαζί. Μια επανεξέταση που κάλυψε τη διόρθωση κλείνει τον κύκλο· μια μη δοκιμασμένη διόρθωση είναι ισχυρισμός. Το ίδιο και μια διόρθωση που στάλθηκε μόνο σε κλάδο που καμία σταθερή κυκλοφορία δεν συγχώνευσε.

Τι δεν μπορεί να σας πει το σήμα

Η απουσία ευρημάτων δεν είναι απόδειξη απουσίας ελαττωμάτων. Μια σύντομη ανάθεση με σταθερό προϋπολογισμό θα χάσει πράγματα και η ειλικρινής ανάγνωση μιας καθαρής έκθεσης είναι ότι ο αξιολογητής δεν βρήκε τις κατηγορίες προβλημάτων που αναζητούσε στον διαθέσιμο χρόνο.

Το σήμα επίσης δεν μπορεί να μιλήσει για ιδιότητες εκτός του εύρους του. Οι ισχυρισμοί για πρακτικές καταγραφής, δικαιοδοσία ή διατήρηση ζουν σε έγγραφο πολιτικής, όχι σε έλεγχο μιας εφαρμογής πελάτη, και καμία φήμη του αξιολογητή δεν μεταφέρεται πέρα από αυτό το όριο.

Καταγράφοντας αποδείξεις που μπορείτε να υπερασπιστείτε

Γράψτε την παραπομπή σε τρία μέρη: το στοιχείο, την έκδοση και την επαληθευμένη διόρθωση. Μια δημοσιευμένη ανάθεση όπως ο έλεγχος VPN που ανέθεσε η Mozilla στηρίζει ακριβώς τις δηλώσεις που περιγράφει το εύρος του και τίποτα ευρύτερο, που αξίζει ακόμη αρκετά όταν η παραπομπή είναι ακριβής. Η ίδια έκθεση που παραπέμπεται για κάτι που ποτέ δεν εξέτασε αξίζει λιγότερο από καμία παραπομπή, γιατί προσκαλεί μια εμπιστοσύνη που κανείς δεν κέρδισε.

Όταν μια ισχυριζόμενη ιδιότητα πέφτει έξω από κάθε διαθέσιμη έκθεση, αφήστε την άλυτη στο έγγραφο. Μια άλυτη γραμμή προσκαλεί συμπληρωματική ερώτηση· ένα σήμα όχι. Η μόνη εξαίρεση είναι μια ιδιότητα που την ορίζει ένα άλλο, εξίσου συγκεκριμένο έγγραφο, και τότε αλλάζει η παραπομπή και όχι ο ισχυρισμός.

Δύο ακόμη συνήθειες κάνουν την ανάγνωση διαρκή: σημειώστε την ημερομηνία της έκθεσης ως προς την κυκλοφορία που πραγματικά τρέχετε, και κρατήστε τη διαφορά ανάμεσα σε ό,τι δοκιμάστηκε και σε ό,τι αναπτύξατε. Και τα δύο μετατρέπουν μια απόφαση εμπιστοσύνης σε κάτι που ένας συνάδελφος μπορεί να ελέγξει.