Der Anbieter zum Synchronisieren von Dateien hat seinen Kompressionsalgorithmus verändert, wie das Team in seinem Infrastruktur-Blog schreibt. Er setzt nun auf eine leicht abgewandelte Variante der Brotli-Technik. Brotli wurde erstmals im Jahr 2015 von Google als Alternative zu dem bisher sehr weit verbreiteten Gzip beziehungsweise Zlib vorgestellt und ist inzwischen ein Internetstandard. Auch Dropbox nutzt die Technik schon länger, hat diese nun aber erweitert.

Der Ankündigung zufolge dient Broccoli dazu, die gewünschten Dateien zu komprimieren, bevor sie synchronisiert und damit über das Netzwerk übertragen werden. Der Name Broccoli nimmt Bezug auf das Unix-Tool „cat“, denn Dropbox komprimiert die Dateien nicht nur, sondern fügt diese zusätzlich auch zusammen. Mit der eigenen Implementierung sei Dropbox auch Dank Multithreading ungefähr dreimal so schnell wie Googles Brotli.

Für die Nutzung mehrerer Kerne mit Brotli müsse das Team einzelne Teile komprimieren (Chunks) und diese so zusammenfügen, dass eine valide Brotli-Ausgabe entstehe. Das Dopbox-Team habe jedoch eine Eigenschaft im Brotli-Protokoll entdeckt, die es mit leichten Änderungen erlaube, ganze Dateien nach der Kompression zusammenzufügen. Genau dieses System nutzt nun Broccoli. Weitere Details dazu liefert der Blogeintrag von Dropbox.

Die Nutzung anderer möglicher Kompressionsalgorithmen, wie auch das eigene Lepton-Format, hat Dropbox aus Leistungsgründen nicht umgesetzt. Diese hielten mit der Netzwerkgeschwindigkeit auf Client-Rechnern nicht mit. Die mit Broccoli umgesetzten Verbesserungen führen laut dem Anbieter im Mittel zu einer Reduktion der Latenzen um mehr als 30 Prozent. Die Menge der übertragenen Daten im Netz habe Dropbox um einen ähnlichen Wert reduzieren können. Der in Rust geschriebene Code der zugrunde liegenden Bibliothek von Broccoli steht auf Github zur Verfügung.

Autor des Artikels ist Sebastian Grüner.

Ebenfalls interessant: Feature-Offensive – Dropbox bringt Passwortverwaltung, Computer-Backup, Datentresor und mehr