Azure Data Factory (ADF) ist das zentrale Orchestrierungs- und Integrationswerkzeug in der Microsoft-Cloud für den zuverlässigen und skalierbaren Datentransport. In Kombination mit Azure Databricks als leistungsfähiger Plattform für Datenverarbeitung und -transformation entsteht eine flexible und zukunftssichere Data-Engineering-Architektur.

In dieser 90-minütigen Session erhalten Teilnehmende einen praxisorientierten Überblick darüber, wie sich mit ADF und Databricks komplexe Datenladeprozesse von der Quelle bis zum Ziel effizient umsetzen lassen – on-premises, in der Cloud oder in hybriden Szenarien.

Wir betrachten den gesamten Lebenszyklus einer Data Factory und ihrer Integration mit Databricks:

· Architektur & Best Practices für performante, skalierbare und wartbare Pipelines

· Quell- und Zielanbindungen (SQL Server, Azure Storage, APIs, Data Lake, u.a.)

· Integration von Databricks in ADF-Pipelines als zentrales Transformations-Tool

· Transformationen mit Databricks-Notebooks – von einfachen Bereinigungen bis zu komplexen Business-Logiken

· Parametrisierung & Wiederverwendbarkeit von Pipelines, Datasets und Notebook-Aufrufen

· DevOps-Integration: Aufbau einer vollständigen CI/CD-Pipeline in Azure DevOps oder GitHub Actions

· Infrastructure as Code mit Bicep und Terraform für wiederholbare, parametrische Deployments

· Monitoring & Fehlerbehandlung – vom Alerting bis zur automatisierten Korrektur

Die Session führt die Teilnehmenden anhand einer konkreten Lösung aus einem realen Kundenprojekt durch den vollständigen End-to-End-Prozess. Der Fokus liegt auf praxisnahen Architekturentscheidungen, erprobten Best Practices und dem Aufzeigen typischer Stolperfallen – nicht auf abstrakten Konzepten.

Die Teilnehmenden erhalten einen klar strukturierten, praxisorientierten Leitfaden, der sie in die Lage versetzt, vergleichbare Data-Integration-Szenarien mit Azure Data Factory, Azure Databricks und einer DevOps-gestützten Bereitstellung erfolgreich zu realisieren.

Torsten Strauß

Torsten (MVP, MCSE, MCT) beschäftigt sich seit der Jahrtausendwende mit dem Microsoft SQL Server und ist auf die Leistungsoptimierung für große SQL Server Umgebungen spezialisiert.
Er ist seit über zwei Jahrzehnten bei bp in verschiedenen Positionen und derzeit als Senior Software Engineer tätig und arbeitet eng mit Sarpedon Quality Lab als Principal Consultant für Microsoft SQL Server zusammen.
Torsten hat mehr als 250 Präsentationen über die Leistungsoptimierung von Microsoft SQL Server auf nationalen und internationalen Konferenzen und Benutzergruppen gehalten. 
Seit 2018 ist Torsten als Microsoft Most Valuable Professional für Data Platform ausgezeichnet.