Libelle

Dragonfly is een open-source, cloud-native systeem voor bestandsdistributie en beeldversnelling dat gebruikmaakt van peer-to-peer (P2P)-technologie om de levering van grote hoeveelheden gegevens te optimaliseren. Het is ontworpen om de downloadsnelheden en het bandbreedtegebruik te verbeteren door peers in staat te stellen onbenutte bandbreedte te delen, waardoor de afhankelijkheid van gecentraliseerde bronnen wordt verminderd. Dragonfly ondersteunt de distributie van containerimages, bestanden, AI-modellen, datasets, caches, logbestanden en afhankelijkheden, waardoor het geschikt is voor cloud-native omgevingen en AI-infrastructuur.

De systeemarchitectuur bestaat uit vier hoofdcomponenten: Manager, Scheduler, Seed Peer en Peer. De Manager houdt toezicht op de relaties binnen het cluster en het configuratiebeheer, en biedt een front-endconsole voor visuele clusterbewerkingen. De Scheduler selecteert optimale downloadbronnen en coördineert flow. Seed Peers fungeren als root-knooppunten voor downloads terug naar de bron, terwijl Peers de upload- en downloadtaken binnen het P2P-netwerk afhandelen. Deze architectuur zorgt voor een efficiënte, stabiele en consistente bestandslevering met isolatie van uitzonderingen op meerdere niveaus om de betrouwbaarheid te vergroten.

Dragonfly kan op een niet-ingrijpende manier worden geïntegreerd met container-runtimes, containerregisters, AI-infrastructuur en downloadtools. Het biedt configureerbare limieten per peer voor belasting, gelijktijdigheid en verkeer, wat zorgt voor flexibel resourcebeheer. Het systeem garandeert bestandsconsistentie, zelfs zonder expliciete controles door de gebruiker. Dragonfly wordt door diverse bedrijven in productie gebruikt en is een incubatieproject van de Cloud Native Computing Foundation (CNCF). Ontwikkelaars kunnen aan de slag door Dragonfly-componenten te implementeren volgens de documentatie, te integreren met bestaande container- of AI-workflows en gebruik te maken van de meegeleverde API’s en webconsole voor het beheer.