Ekstra Bladet
Motor til clickstream-analyse i realtid
Data engineering & platformeMedier & telekom
NøgleresultatUnder et minuts forsinkelse på live-analyse af forsiden
Udfordring
Ekstra Bladet havde brug for at analysere enorme mængder live clickstream-data fra forsiden — struktureret, søgbart med under et minuts forsinkelse til komplekse analytiske opgaver og gemt i en måned, før data arkiveres.
Løsning
En autoskalerende, serverless pipeline til indlæsning og analyse på AWS, bygget med infrastructure-as-code.
- Streaming-ETL. Hændelser opfanges via en application load balancer i Kinesis Firehose og behandles af Lambda-funktioner.
- Data warehouse med lav forsinkelse. Data lander i Redshift til PostgreSQL-kompatibel analytisk SQL, og rå og behandlede data arkiveres i S3.
- Live-visualisering. Et R Shiny-dashboard viser de aktuelle clickstream-mønstre for brugerne af business intelligence.
Resultater
- Enorme mængder hændelser indlæst i realtid
- Serverless behandling i stor skala
- Under et minuts forsinkelse for analytisk SQL
- Live-dashboard i drift
Emner
- Streaming
- ETL
- AWS