Fast Cars, Big Data - Ou comment le streaming peut aider la Formule 1!

Les voitures, et tout particulièrement les voitures de courses, génèrent énormément de données. Durant cette présentation, basée sur des démonstrations, vous verrez comment :Capturer et traiter les données en temps réel avec l’API Kafka et SparkAnalyser ces données avec Apache Spark et DrillLe but de cette présentation, basée sur des démonstrations est de montrer qu’il est possible aujourd’hui, sur une seule plateforme big data:De capturer les données en temps reel sous forme de flux avec KafkaLes traiter avec Spark StreamingLes stocker sous differentes formes en fonction des besoins fichiers (JSON, Parquet), mais aussi base nosql (HBase, MapRDB JSON, …)Les analyser en mode batch par exemple pour faire de la maintenance predictive via du machine learning avec Spark ML, ou plus simplement des requetes SQL avec Apache Drill.Le projet est disponible en open source et s’appuie sur:Des Producer/Consumer KafkaSpark et Spark Streaming pour le traitement de l’information en temps reel et batch.Une Web Application pour la visualisation en temps reel avec Kafka Consumer+Web SocketUn simulateur de course pour la generation des données TORCS (The Open Source Racing Car Simulator)