Malé súbory sa plazia cez VPN kvôli spiatočným cestám, nie kvôli rýchlosti

Skopírujte jeden súbor s veľkosťou 2 GB cez VPN a prenos vyzerá dobre. Skopírujte priečinok s desiatimi tisícmi malých dokumentov a to isté spojenie vyzerá rozbité. Rozdiel nie je nastavenie šírky pásma, ktoré sa medzi oboma úlohami zmenilo. Druhá úloha trávi čas nastavovaním, metadátami a čakaním na odpovede, a práve latencia tunela robí toto čakanie viditeľným.

Jeden súbor streamuje; priečinok súborov vyjednáva

Veľká kópia trávi väčšinu života v slučke čítania a zápisu na malom počte otvorených popisovačov. Réžia protokolu sa platí raz na súbor a dáta sa pohybujú vo veľkých blokoch. Výsledku dominuje šírka pásma.

Kopírovanie priečinka platí za každý súbor: vytvorenie, dotaz na atribúty, otvorenie, zápis, zatvorenie a aktualizácia metadát adresára. Každý z nich je požiadavka, ktorá čaká na odpoveď, kým môže pokračovať ďalší krok. Bajty sú drobné; koordinácia nie.

Preto graf nízkeho využitia spoja nedokazuje takmer nič. Spoj je nečinný, pretože klient čaká, nie preto, že je tunel pomalý. Pole úložiska alebo skener koncových bodov môže pridať rovnaký tvar meškania. Určte, ktorá fáza čaká, skôr než zmeníte akékoľvek sieťové nastavenie.

Spiatočné cesty sa sčítavajú rýchlejšie ako bajty

Latencia je cena jednej závislej výmeny. Ak súbor potrebuje niekoľko sériových výmen a tunel pridá 40 ms v každom smere, cena za súbor rýchlo rastie. Desať tisíc súborov z toho urobí minúty.

Aritmetika je ilustratívna, nie meranie: nie je zaručené, že súbor stojí jednu spiatočnú cestu, a klienti časť práce prekrývajú.

Celkový súčet menia dve páky. Znížte počet závislých výmen na súbor alebo ich nechajte viac bežať súčasne. Prvá je zmena protokolu alebo záťaže; druhá je súbežnosť. Ani jedna neurobí pomalý spoj rýchlejším.

Merajte záťaž, nie spoj

Porovnajte tri úlohy s rovnakými koncovými bodmi a rovnakou politikou prístupu: jeden veľký súbor, priečinok malých súborov a skutočnú obchodnú operáciu. Pri každom výsledku zaznamenajte počet súborov, rozdelenie veľkostí, nástroj na kopírovanie a sieťové podmienky.

Jediné číslo v MB/s bez týchto podrobností nemožno porovnať s nikým iným.

Merajte latenciu oddelene od priepustnosti. Jednoduchý test spiatočnej cesty na súborový server dáva číslo, ktoré sa násobí naprieč malými operáciami. Potom sledujte vzor požiadaviek kópie, nie jej priemernú rýchlosť. Ak je rýchlosť nízka a spoj nečinný, úzke hrdlo je nad tunelom.

Zmeňte úlohu: súbežnosť a archívy

Pre povolenú hromadnú kópiu drží nástroj s riadenou súbežnosťou viac požiadaviek v behu. Voľba /MT v Robocopy je bežný príklad vo Windows. Pridanie vlákien nezaručuje rýchlejšiu kópiu.

Zvoľte počet, ktorý klient, server a úložisko vydržia, a uchovajte protokol úlohy a všetky chyby.

Archivácia pri zdroji a lokálne rozbalenie odstraňujú vzdialenú prácu na súbor. Do porovnania zahrňte čas prípravy a extrakcie a overte, že archív zachováva metadáta a oprávnenia, ktoré úloha potrebuje. Ani jeden trik neprinúti aplikáciu zoskupiť vlastné súborové operácie.

Overte počítadlo kontrolovaným testom

Spustite tú istú úlohu dvakrát s jednou zmenenou premennou a zaznamenajte obe čísla. Kontrolovaný test je jediný spôsob, ako zistiť, či nastavenie pomohlo, alebo bola sieť náhodou tichšia.

Dva príkazy dávajú počet súborov a základnú líniu spiatočnej cesty:

Get-ChildItem \\fileserver.hq.example\\share -Recurse | Measure-Object -Property Length -Sum
ping -n 20 fileserver.hq.example

Potom spustite kópiu s obmedzeným počtom vlákien a porovnajte protokol s predchádzajúcim spustením:

robocopy \\fileserver.hq.example\\share C:\\local /E /MT:16 /LOG:copy.log /TEE

Nevypínajte podpisovanie SMB, šifrovanie ani ochranu koncových bodov, aby ste vylepšili počítadlo. Tie zmeny vymieňajú bezpečnostnú vlastnosť za číslo, ktoré možno nebolo úzkym hrdlom. A v poznámkach držte prenos VPN oddelene od vlastného prenosu SMB, pretože oprava v jednom nie je dôkazom o druhom.