NimbusCode Technologies

Description

Dans ce projet, un système basé sur des microservices a été développé, capable de traiter en parallèle des téraoctets de données financières, de générer des prévisions et d’analyser en profondeur les résultats. Côté backend, Quarkus et Spring ont été utilisés, tandis qu’en frontend, ReactJS a été mis en œuvre. L’ensemble du système a été déployé sur son propre cluster Kubernetes, ce qui garantit une grande flexibilité et une scalabilité efficace. Grâce à l’architecture en microservices et à l’utilisation de technologies modernes, de grands volumes de données peuvent être traités efficacement et des prévisions précises peuvent être produites. Les temps de réponse aux requêtes de données complexes ont été nettement réduits, tout en créant un environnement résilient, capable de s’adapter dynamiquement.

Défi

• Complexité du système et de la logique de calcul, avec des volumes de données considérables et des algorithmes exigeants, nécessitant une planification et une orchestration minutieuses.
• Exploiter les répartitions au sein du système via des systèmes de messagerie, car la parallélisation et la répartition de charge sont essentielles pour atteindre des performances optimales.
• Reconstituer l’ordre correct lors du calcul asynchrone, pour que les résultats partiels soient correctement agrégés et garantir des résultats cohérents.
• Développer une solution sur mesure pour accélérer le stockage de grands volumes de données, afin de soulager le système de messagerie, en mettant en place un concept de cache dédié qui accélère les processus d’écriture et de lecture.

Solution

Kubernetes assure une mise à l’échelle automatisée et orchestre les microservices. Des supports de stockage hautement disponibles garantissent la gestion fiable de grands volumes de données. Kafka sert de système de courtage de messages performant et permet un échange rapide des données ainsi qu’un traitement asynchrone, sans créer de goulots d’étranglement.

Résultats

Grâce à notre solution, il est désormais possible de calculer, d’agréger et ensuite d’analyser en profondeur, en un clic, de grandes quantités de données financières. Nous avons ainsi non seulement assuré la calculabilité de grands volumes de données, mais aussi réalisé cela dans un cadre temporel qui rend les performances du système véritablement uniques.