En bref : le streaming de données blockchain alimente un large éventail d’applications de production, allant de la surveillance en temps réel des portefeuilles et des tableaux de bord DeFi aux systèmes de conformité, en passant par les indexeurs personnalisés et les plateformes d’analyse. Toute application devant réagir aux événements sur la chaîne au fur et à mesure qu’ils se produisent, maintenir une base de données synchronisée des données de la blockchain ou traiter de grands volumes d’enregistrements historiques tire parti d’une architecture de streaming de type « push ». Les cas d’utilisation les plus courants se répartissent en cinq catégories : la surveillance en temps réel, l’indexation des données, l’analyse et la veille économique, la conformité et la sécurité, ainsi que les back-ends d’applications.
L'explication simple
Le streaming n'est pas une catégorie de produit. Il s'agit d'un modèle d'infrastructure. Un pipeline de données en streaming achemine automatiquement les données de la blockchain vers vos systèmes au fur et à mesure de leur production, remplaçant ainsi le travail manuel et répétitif consistant à interroger des points de terminaison RPC et à assembler des données provenant de plusieurs sources. L'intérêt du streaming apparaît clairement lorsque l'on examine les applications qu'il rend possibles et les problèmes qu'il permet de résoudre dans chacune d'entre elles.
Tous les cas d'utilisation décrits ci-dessous partagent une exigence commune : l'application a besoin que les données de la blockchain lui soient transmises de manière fiable, dans l'ordre, sans lacunes et avec une latence minimale. Les détails concernant les données requises, la manière dont elles sont filtrées et leur destination varient selon les cas d'utilisation, mais le modèle d'infrastructure sous-jacent reste le même.
Qu'est-ce que le streaming de données sur la blockchain ?
Le streaming de données blockchain est un modèle d'infrastructure qui transmet les données de la chaîne de blocs à vos systèmes au fur et à mesure de leur production, plutôt que de vous obliger à les récupérer de manière répétée. Un pipeline de streaming transmet les blocs, les transactions, les journaux et les traces dans l'ordre et sans interruption, ce qui permet à votre application de réagir aux événements en quelques secondes. Pour une définition plus détaillée, découvrez ce qu'est le streaming de données blockchain et comment il se distingue du polling.
Le streaming est-il plus efficace que le sondage pour les données de la blockchain ?
Les requêtes interrogent régulièrement une interface RPC ( endpoint ) pour savoir si des modifications sont intervenues, tandis que le streaming vous transmet les modifications dès qu'elles se produisent. Pour la plupart des cas d'utilisation en production qui exigent fiabilité et faible latence, le streaming s'impose. Le tableau ci-dessous compare ces deux approches.
Facteur | Sondage | Streaming |
|---|---|---|
Données flow | Tu te bases sur un planning | Le prestataire intervient à chaque événement |
Latence | Limité par l'intervalle de sondage | Near en temps réel |
Événements manqués | Possible en cas de défaillance ou de limitation de débit | Livraison garantie, sans interruption |
Surveillance et alertes en temps réel
Le cas d'utilisation le plus immédiat du streaming consiste à surveiller la blockchain à la recherche d'événements spécifiques et à y réagir en temps réel. Un fournisseur de portefeuille streams filtre les données de transaction en fonction des adresses de ses utilisateurs, ce qui permet d'envoyer des notifications push instantanées lorsqu'un utilisateur reçoit un dépôt ou lorsqu'une transaction en attente est confirmée. Un protocole DeFi streams ses propres événements de contrat pour détecter quand des positions approchent des seuils de liquidation, déclenchant ainsi des bots de gestion automatisés ou des alertes aux utilisateurs en quelques secondes. Un opérateur de pont streams les événements de dépôt sur la chaîne source pour lancer les frappes correspondantes sur la chaîne de destination avec un délai minimal.
Ces cas d'utilisation en matière de surveillance ont en commun une exigence fondamentale : zéro événement manqué. Si le système passe à côté d'un seul événement de dépôt, l'utilisateur n'en est pas informé. S'il ne détecte pas un événement lié au seuil de liquidation, une position n'est pas liquidée et le protocole subit une créance irrécouvrable. Les architectures basées sur l'interrogation (polling) risquent de passer à côté d'événements en cas de défaillance de connexion, de dépassement des limites de débit ou de retards de traitement. La diffusion en continu avec livraison garantie assure que chaque événement pertinent parvienne à sa destination exactement une fois.
Le suivi des jetons est une autre application courante de la surveillance. Les bourses et les teneurs de marché diffusent en continu les événements « Transfer » provenant des contrats ERC-20 afin de suivre les mouvements de jetons entre les portefeuilles, de détecter les transferts importants (alertes « whale ») et de mettre à jour leurs systèmes comptables internes. Les plateformes NFT diffusent en continu les événements « Transfer » provenant des contrats ERC-721 et ERC-1155 afin de mettre à jour les registres de propriété, de déclencher des mises en vente sur les places de marché et de conserver l’historique de provenance. Dans les deux cas, le filtre de diffusion réduit le volume de données, passant de « toutes les transactions sur la chaîne » à « uniquement les événements impliquant les contrats et les adresses qui m’intéressent », ce qui rend le traitement en aval plus facile à gérer.
Indexation personnalisée et synchronisation des bases de données
Le streaming est le fondement de tout indexeur de blockchain moderne. Un indexeur a besoin d’un flux fiable et ordonné de données de blocs qu’il peut traiter pour en faire des enregistrements structurés dans une base de données. Le pipeline de streaming se charge de l'extraction et de la transmission des données, tandis que l'indexeur se charge de leur transformation et de leur chargement. Cette séparation des préoccupations permet au développeur de l'indexeur de se concentrer exclusivement sur la logique métier (comment décoder les événements, dans quelles tables les enregistrer, quelles métriques dérivées calculer) plutôt que sur les questions d'infrastructure (comment se connecter aux nœuds, gérer les tentatives de reconnexion, détecter les réorganisations, gérer les limites de débit).
Les services de suivi de portefeuille utilisent le streaming pour maintenir une base de données synchronisée contenant les soldes de jetons, l'historique des transactions et la valeur des positions sur plusieurs chaînes pour chaque utilisateur. Au lieu d'interroger la blockchain à la demande lorsqu'un utilisateur ouvre l'application (ce qui serait lent et coûteux), le service pré-indexe toutes les données pertinentes via le streaming, ce qui permet à l'application de répondre aux requêtes à partir de sa propre base de données avec des temps de réponse inférieurs à une seconde.
Les explorateurs de blocs constituent sans doute le cas d’utilisation le plus complet en matière d’indexation. Des services tels qu’Etherscan traitent chaque bloc de toutes les chaînes prises en charge, décodent chaque transaction, indexent chaque journal d’événements et stockent l’ensemble de ces données dans une base de données consultable. La création d’un explorateur de blocs à partir de zéro nécessite un pipeline de données capable de gérer l’intégralité du volume de la chaîne en temps réel, tout en reconstituant l’historique complet. Le streaming offre ces deux fonctionnalités via une interface unique.
Analyse de données et intelligence d'affaires
Les plateformes d'analyse utilisent le streaming pour constituer des ensembles de données en temps réel et historiques destinés à l'intelligence économique. L'equipe , chargée de la croissance d'un protocole DeFi, peut par exemple diffuser en continu tous les événements « Swap » provenant de ses contrats DEX vers un entrepôt de données, puis créer des tableaux de bord présentant le volume des transactions par paire, le nombre de traders uniques par jour, les tendances des revenus issus des frais et les taux d'utilisation de la liquidité. Ces tableaux de bord combinent des données en temps réel (volume cumulé de la journée) et des données historiques (tendances des 90 derniers jours) dans une vue unifiée.
Les cabinets d'études exploitent les flux de données blockchain pour alimenter leurs analyses quantitatives : modèles d'extraction du MEV, dynamique des prix du gaz, comportement des validateurs, flux de capitaux inter-chaînes et indicateurs d'adoption des protocoles. Le pipeline de flux transmet les données brutes à l'infrastructure de recherche, où les data scientists les transforment, les analysent et les modélisent à l'aide d'outils courants tels que SQL, Python et les plateformes de BI. En transmettant uniquement les données filtrées (c'est-à -dire les événements et les types de transactions pertinents pour l'objet de l'étude), le pipeline réduit au minimum les coûts de stockage et de traitement.
L'attribution « on-chain » est un cas d'utilisation de plus en plus répandu dans le domaine de l'analyse de données. Les équipes marketing des projets de cryptomonnaie exploitent les données transactionnelles pour attribuer les activités sur la blockchain (échanges, frappes, dépôts) à des canaux d'acquisition ou à des campagnes spécifiques. En associant les adresses de portefeuille aux points de contact des campagnes, ces équipes peuvent mesurer le retour sur investissement de leurs efforts de croissance avec une précision « on-chain ».
Conformité, sécurité et risques
Les équipes chargées de la conformité au sein des bourses, des dépositaires et des institutions financières utilisent le traitement en continu pour surveiller en temps réel l'activité des portefeuilles à la recherche de schémas suspects. Les systèmes de lutte contre le blanchiment d'argent (AML) traitent en continu les données transactionnelles et appliquent des modèles de détection basés sur des règles ou sur l'apprentissage automatique afin de signaler les transactions correspondant à des schémas de risque connus : virements importants vers des services de mixage, mouvements rapides de fonds entre plusieurs portefeuilles, interactions avec des adresses soumises à des sanctions ou horaires de transaction inhabituels.
La surveillance de la sécurité est étroitement liée à ce processus. Les auditeurs de contrats intelligents et les équipes de sécurité des protocoles analysent en continu les événements des contrats et les données de traçabilité afin de détecter les tentatives d'exploitation dès qu'elles se produisent. Lorsqu'un attaquant commence à vider un pool ou à exploiter une vulnérabilité de réentrée, cette analyse en temps réel permet à l'equipe e de sécurité de détecter l'attaque en l'espace de quelques blocs et d'intervenir (en suspendant le contrat ou en devançant les transactions restantes de l'attaquant) avant que les dégâts ne soient irréversibles.
Les protocoles d'assurance transmettent en continu les données pertinentes pour les sinistres afin d'automatiser l'évaluation des polices. Un produit d'assurance DeFi pourrait ainsi transmettre en continu les mises à jour des oracles de prix et les variations de la TVL du protocole afin de déterminer quand un événement couvert a été déclenché, ce qui lancerait automatiquement la procédure de sinistre sans intervention manuelle.
Back-ends d'applications et microservices
De nombreuses applications Web3 s'appuient sur le streaming comme pilier de leur architecture backend. Au lieu que chaque microservice interroge la blockchain de manière indépendante (ce qui entraîne une duplication des appels RPC et un risque d'incohérence des données), un pipeline de streaming central alimente un bus d'événements ou une file d'attente de messages partagés. Chaque service s'abonne aux événements qui l'intéressent et les traite de manière indépendante. Cette architecture orientée événements évolue de manière fluide, garantit la cohérence des données et réduit l'utilisation globale des appels RPC.
Les applications de jeux vidéo diffusent en continu les événements contractuels liés au jeu (création d’objets, échanges, résultats de combats) afin de mettre à jour l’état du jeu en temps réel near . Les protocoles sociaux diffusent en continu les événements de publication de contenu pour alimenter les flux. L’infrastructure de paiement streams les transactions de règlement afin de mettre à jour les soldes du grand livre. Dans chaque cas, le pipeline de diffusion en continu remplace ce qui serait autrement un réseau fragile de boucles d’interrogation et de connexions WebSocket par une source de données unique et fiable.
Quels sont les cas d'utilisation les plus courants de la blockchain dans le domaine du streaming ?
Les cas d'utilisation du streaming se regroupent en cinq catégories. Le tableau ci-dessous présente chacune d'entre elles, les données dont elles ont généralement besoin, ainsi qu'un exemple représentatif. L'indexation et l'analyse, en particulier, en dépendent, comme expliqué dans la section consacrée à l'indexation sur la blockchain.
Catégorie | Ce qu'il faut | Exemple |
|---|---|---|
Surveillance en temps réel | Événements et journaux filtrés | Notifications de dépôt sur le portefeuille |
Indexation personnalisée | Blocs et reçus commandés | Base de données de suivi de portefeuille |
Analyse de données et intelligence d'affaires | Événements filtrés vers un entrepôt de données | Tableaux de bord du volume DEX |
Le streaming permet-il de fournir à la fois des données en temps réel et des données historiques ?
Oui. Le même pipeline qui permet d’ streams r de nouveaux blocs en temps réel peut également effectuer un « backfill » (remplissage rétrospectif) de l’historique complet, ce qui vous permet d’alimenter une base de données avec des données passées, puis de la maintenir à jour sans changer d’outil. C’est pourquoi les équipes associent souvent le streaming à un « backfill » ponctuel, une distinction expliquée dans les articles « Données blockchain en temps réel vs données historiques » et « Comment accéder aux données historiques de la blockchain ».
Comment « Quicknode »Streams permet de mettre en œuvre ces cas d'utilisation
Quicknode Streams prend en charge tous les cas d'utilisation décrits ci-dessus grâce à un pipeline de données configurable et fonctionnant en mode « push ». Les filtres JavaScript vous permettent d'effectuer des filtrages sur des adresses spécifiques, des signatures d'événements, des sélecteurs de fonctions ou toute autre propriété de transaction, garantissant ainsi que votre destination ne reçoive que les données pertinentes pour votre cas d'utilisation. Plusieurs types de jeux de données (blocs, transactions, reçus, journaux, traces) couvrent tout le spectre, de la surveillance légère des événements à l’indexation complète de la chaîne. La transmission vers l’ webhooks permet la mise en place de backends d’applications en temps réel, tandis que la transmission vers PostgreSQL, Snowflake, Amazon S3 et Azure Storage prend en charge les workflows d’analyse, d’indexation et de conformité.
Streams S'intègre aux fonctions d'Quicknode pour un traitement « serverless » des données en flux continu, permettant ainsi l'enrichissement, l'agrégation, l'envoi de notifications et d'autres logiques métier sans avoir à déployer d'infrastructure supplémentaire. Le magasin clé-valeur permet à streams de référencer et de mettre à jour des états externes (tels que des listes d'adresses surveillées) pendant le traitement, prenant ainsi en charge des cas d'utilisation de surveillance dynamique qui évoluent au fil du temps. Le remplissage historique et le flux en temps réel fonctionnent via le même pipeline ; chaque cas d'utilisation bénéficie ainsi d'une architecture unifiée qui gère à la fois les données passées et présentes.
Pour en savoir plus
Premiers pas avec Streams - Documentation d'Quicknode
Accélérez le développement de vos produits grâce aux données indexées en continu - Blog d'Quicknode
Créer un indexeur blockchain avec Streams - Guided' Quicknode
Fonctions d'Quicknode
Foire aux questions
Quelle est la différence entre le streaming et une endpoint RPC ?
Un service RPC ( endpoint ) répond aux requêtes individuelles lorsque vous les envoyez. Le streaming transmet en continu un flux filtré de nouvelles données vers votre destination. De nombreuses applications utilisent les deux : le RPC pour les requêtes à la demande et le streaming pour les données en continu. Découvrez comment fonctionnent les requêtes RPC.
Ai-je besoin de la technologie de streaming pour créer un indexeur ?
Vous avez besoin d'un flux de données par blocs fiable et ordonné, ce qui est précisément ce qu'offre le streaming. Il se charge de l'extraction, du classement, des tentatives de reprise et de la gestion des réorganisations, afin que votre indexeur puisse se concentrer sur le décodage des événements et l'écriture des enregistrements.
Quelles données peut-on diffuser en continu à partir d'une blockchain ?
Les ensembles de données courants comprennent les blocs, les transactions, les reçus, les journaux d'événements et les traces. Les filtres vous permettent de restreindre le flux à des adresses, des signatures d'événements ou des sélecteurs de fonction spécifiques, afin que vous ne receviez que ce dont vous avez besoin.
Le streaming permet-il de détecter les MEV ou les abus ?
Oui. Les équipes de sécurité analysent en temps réel les événements liés aux contrats et les données de traçabilité afin de détecter les tentatives d'exploitation au sein des blocs, tandis que les chercheurs analysent ces données pour étudier des phénomènes tels que le MEV. Découvrez ce qu'est le MEV dans la blockchain.
Où les données transmises en continu peuvent-elles être acheminées ?
Parmi les destinations courantes, on peut citer webhooks pour les back-ends d'applications et les bases de données, ou encore des solutions de stockage telles que PostgreSQL, Snowflake, Amazon S3 et Azure Storage pour l'analyse, l'indexation et la conformité.
