Les insígnies són barates de mostrar i cares d’interpretar. Un informe d’auditoria publicat és una peça acotada de treball d’enginyeria: un avaluador nomenat va examinar components nomenats, en una versió nomenada, amb un mètode declarat i un pressupost de temps. Aquests quatre fets determinen què pot sostenir la conclusió, i normalment són a les primeres pàgines i no al resum de màrqueting. Llegir-los costa deu minuts i evita l’error habitual d’estendre una troballa d’una aplicació de client a tot un servei.

Què limita realment la secció d’abast

Una declaració d’abast és una tanca, i tot el que queda fora no és superat sinó sense resposta. Els informes enumeren els components examinats, el rang de commits o l’identificador de compilació, l’entorn utilitzat i el model d’interacció permès. Un client d’escriptori, una aplicació mòbil, el codi del servidor, el backend del compte i la infraestructura de producció són cinc temes diferents, i un encàrrec pot cobrir qualsevol subconjunt d’ells.

Les exclusions importen tant com les inclusions, perquè s’enuncien deliberadament i es llegeixen amb descurança. Un sistema de comptes descrit com a fora d’abast no s’implica que sigui segur, i una aplicació mòbil deixada fora d’un encàrrec simplement no s’examina. Marqueu cada component no provat a les vostres notes com a desconegut i resistiu la temptació d’omplir el buit amb reputació.

Dos tipus de prova responen preguntes diferents

La revisió del codi font i les proves en execució busquen fallades diferents. Un revisor que llegeix codi pot seguir una derivació de clau, detectar una comprovació de longitud absent i raonar sobre un analitzador sencer sense executar-lo. Un provador contra un servei en funcionament descobreix què fa realment la compilació desplegada: un certificat que l’aplicació rebutja, un protocol de reserva encara habilitat, un punt final que filtra un bàner de versió mitjançant una configuració que ningú no va revisar.

Cap dels dos substitueix l’altre, i l’informe normalment indica quin es va fer. Quan un resum diu «auditat» sense aquesta distinció, l’ambigüitat és al resum, no a l’informe.

Els límits d’accés fan la mateixa feina. Un encàrrec de caixa negra no pot veure la configuració del servidor, i una revisió d’arquitectura que no toca mai un punt final desplegat no pot adonar-se que la producció difereix del diagrama. Tots dos són legítims; confondre’n els resultats no ho és.

Com una troballa es converteix en una versió corregida

La meitat valuosa d’un informe és la taula de remediació: cada troballa, la seva gravetat segons el mètode de l’avaluador, la resposta de l’operador i el resultat de la repetició de la prova. Els números de gravetat vénen d’una metodologia escollida i no de la natura, així que compareu gravetats dins d’un informe i no entre dos amb escales diferents.

Després connecteu la correcció amb el programari publicat. Una troballa corregida només importa a un usuari quan la versió que porta la correcció és la instal·lada, i per això l’identificador de compilació d’un informe i el registre de canvis d’una versió s’han de llegir junts. Una repetició de prova que va cobrir la correcció tanca el cercle; una correcció no provada és una afirmació. També ho és una correcció publicada només en una branca que cap versió estable no va fusionar.

Què no us pot dir la insígnia

L’absència de troballes no és prova d’absència de defectes. Un encàrrec curt amb un pressupost fix deixarà coses fora, i la lectura honesta d’un informe net és que l’avaluador no va trobar les classes de problema que buscava en el temps disponible.

La insígnia també no pot parlar de propietats fora del seu abast. Les afirmacions sobre pràctiques de registre, jurisdicció o retenció viuen en un document de política, no en una auditoria d’una aplicació de client, i cap reputació de l’avaluador travessa aquesta frontera.

Enregistrar proves que pugueu defensar

Escriviu la citació en tres parts: el component, la versió i la correcció verificada. Un encàrrec publicat com ara l’auditoria de VPN encarregada per Mozilla sosté exactament les afirmacions que descriu el seu abast i res més ampli, cosa que encara val força quan la citació és precisa. El mateix informe citat per a una cosa que mai no va examinar val menys que cap citació, perquè convida a una confiança que ningú no ha guanyat.

Quan una propietat afirmada cau fora de tots els informes disponibles, deixeu-la sense resoldre al document. Una línia sense resoldre convida a una pregunta de seguiment; una insígnia no. L’única excepció és una propietat que resol un altre document igualment específic, i llavors canvia la citació i no l’afirmació.

Dos costums més fan duradora la lectura: anoteu la data de l’informe respecte de la versió que realment executeu, i guardeu la diferència entre el que es va provar i el que vau desplegar. Totes dues converteixen una decisió de confiança en una cosa que un col·lega pot comprovar.

Articles relacionats