Daglig pipeline for virksomheders regnskaber

Udfordring

PwC ønskede et program, der synkroniserede en intern database med alle de seneste regnskaber indsendt af danske virksomheder på virk.dk — og gjorde regnskaberne tilgængelige i et søgbart format.

Løsning

En fuldt automatiseret pipeline til indhentning, behandling og lagring, sat op til at køre hver nat.

• Indhentning af data. Et scriptet job gennemsøger virk.dk for nye regnskaber, sammenligner med allerede behandlede data og henter alt nyt.
• Databehandling. XBRL-markup konverteres til struktureret relationel form, hvor interne tags og referencer bevares, så intet indhold går tabt.
• Lagring af data. Tabeller, skemaer og views i en SQL-database gemmer data permanent — inklusive færdige views med nøgletal.

Resultater

• Fuldt udviklet og deployet pipeline
• Kører automatisk hver nat
• Databasen driver statistisk analyse og automatiseret rapportering
• Nøgletalsviews gør typiske analyser hurtigere