In den vergangenen Jahren hat die Datenintegration erheblich an Komplexität gewonnen. Dies ist insbesondere auf die fortschreitende Segmentierung des Marktes, das rasante Wachstum technologischer Entwicklungen sowie neue Anwendungsfälle im Bereich der künstlichen Intelligenz zurückzuführen. Unternehmen sehen sich zunehmend mit einer Vielzahl an Datenquellen, Formaten und Tools konfrontiert, die nahtlos miteinander verbunden werden müssen.

Die Datenintegration in Microsoft Fabric bietet eine Vielzahl von Möglichkeiten, welche Anwender:innen erlauben, die für ihren Anwendungsfall geeignete Methode auszuwählen. In diesem Artikel werden die verschiedenen verfügbaren Tools und gängigsten Ansätze zur Datenintegration in Microsoft Fabric vorgestellt. Der Fokus liegt darauf, die Unterschiede zwischen den jeweiligen Methoden aufzuzeigen und Empfehlungen für den optimalen Einsatz in verschiedenen Szenarien zu geben.  

​Einführung in Microsoft Fabric​

Microsoft Fabric erweitert den Funktionsumfang von Power BI erheblich und bietet eine umfassende Plattform für das Datenmanagement, die Speicherung und die Verarbeitung großer Datenmengen. Während in Power BI die Datenquellen direkt in die Berichte integriert werden, erfolgt die Datenverarbeitung in Microsoft Fabric in mehreren Schritten. Zunächst werden die Daten in Fabric geladen und gespeichert. Anschließend können semantische Modelle aufgebaut und Visualisierungen erstellt werden.

Dieser Ansatz ermöglicht es, große und komplexe Datenmengen effizient zu verwalten und zu analysieren. Die Herausforderung besteht jedoch darin, die richtige Methode zur Datenintegration zu wählen, da Microsoft Fabric eine Vielzahl von Werkzeugen anbietet. 

Die richtige Auswahl hängt unter anderem vom Anwendungsfall und der Datenarchitektur des Unternehmens ab. Microsoft Fabric ist flexibel und bietet Methoden und Werkzeuge an, die zu den Anforderungen und den Personenkreisen passen, die sie nutzen sollen. 

Methoden der Datenintegration in Microsoft Fabric​

Die gängigsten Methoden zur Datenintegration in Microsoft Fabric sind:

• Dataflow Gen2

• Data Pipelines

• Notebooks

• Shortcuts

• Datenbankspiegelung
  

Jede dieser Methoden eignet sich für unterschiedliche Anforderungen und Anwendungsfälle. Im Folgenden werden diese Werkzeuge mit ihren spezifischen Vor- und Nachteilen beschrieben.

​1. Dataflow Gen2 (Data Factory)

Dataflow Gen2 bietet eine intuitive Möglichkeit, Daten aus mehreren hundert externen Quellen in Microsoft Fabric zu integrieren. Die Daten können in einer benutzerfreundlichen, auf Power Query basierenden Oberfläche transformiert werden, ohne dass tiefergehende Programmierkenntnisse erforderlich sind. 

​Vorteile von Dataflow Gen2	​Nachteile von Dataflow Gen2
​Zugriff auf eine Vielzahl externer Datenquellen	Bei großen Datenmengen kann die Performance beeinträchtigt werden.​
​Eine No-Code oder Low-Code Lösung, die für eine breite Benutzergruppe geeignet ist	​Dataflow Gen2 aktualisiert Daten nur in festgelegten Intervallen und unterstützt daher keine Echtzeit-Datenverarbeitung.​
Unterstützung vor Ort vorhandener Datenquellen durch ein Daten-Gateway (OPDG)​	​

​2. Data Pipelines (Data Factory)

Data Pipelines sind ein leistungsfähiges Werkzeug zur Orchestrierung von Datenprozessen und ermöglichen die Verarbeitung sehr großer Datenmengen in Verbindung mit Dataflow Gen2. Sie können verschiedene Aktivitäten in einem strukturierten Workflow kombinieren und bieten umfangreiche Möglichkeiten zur Steuerung und Automatisierung.

​Vorteile von Data Pipelines	​Nachteile von Data Pipelines
Besonders effizient bei der Verarbeitung großer Datenmengen aus Cloud-Datenquellen	Keine integrierten Datenbereinigungs- oder Transformationsfunktionen – diese müssen durch Notebooks oder Dataflow Gen2 ergänzt werden.
Unterstützung komplexer Kontrollflüsse („wenn-dann“-Bedingungen) zur Automatisierung von Datenprozessen​	Keine Unterstützung von On-Premise Datenquellen
Möglichkeit der Integration mit externen Diensten wie Azure Machine Learning und Azure Data Bricks​	​

​3. Notebooks (Data Lake)

Notebooks in Microsoft Fabric basieren auf der Programmiersprache Python und bieten maximale Flexibilität bei der Verarbeitung und Transformation von Daten. Sie eignen sich besonders für Nutzer:innen, die komplexe Datenverarbeitungsaufgaben haben, die über die Möglichkeiten von No-Code-Tools hinausgehen.

​Vorteile von Notebooks	​Nachteile von Notebooks
Hohe Flexibilität durch den Zugriff auf vier Programmiersprachen sowie umfangreiche Python-Bibliotheken	Programmierkenntnisse in z. B. Python sind erforderlich.​
Ideal für komplexe Datenverarbeitung und -analyse​	Performance abhängig von der bestellten Kapazitätslizenz gemäß der Stock-Keeping-Units (SKU) Methode​

​4. Shortcuts (Data Factory)

Shortcuts ermöglichen es, Datenquellen in externen Speichern (z. B. Azure Data Lake Storage, Amazon S3 oder Dataverse) ohne einen vollständigen ETL-Prozess in Fabric zu integrieren. Sie stellen eine Art „Live-Synchronisation“ der Daten bereit.

​Vorteile von Shortcuts	​Nachteile von Shortcuts
Direkte Verbindung zu externen Datenspeichern ohne Datenkopie	Eingeschränkte Möglichkeiten zur Datenbearbeitung und -transformation
Keine Notwendigkeit zur Durchführung eines ETL-Prozesses

​5. Datenbankspiegelung

Die Datenbankspiegelung befindet sich aktuell in der privaten Vorschau (Stand: März 2024). Sie wird es ermöglichen, Datenbanken wie Snowflake, Cosmos DB oder Azure SQL ohne ETL-Prozess in Microsoft Fabric zu integrieren.

​Vorteile von Datenbankspiegelung	​Nachteile von Datenbankspiegelung
Echtzeit-Synchronisation von Datenbanken in Microsoft Fabric ohne ETL-Prozesse​	Weiterer Datenbanken noch nicht unterstützt​
Unterstützt verschiedene Datenbanklösungen wie Snowflake und Azure SQL​

Fazit

Die Wahl der geeigneten Methode für die Datenintegration in Microsoft Fabric hängt von den spezifischen Projektanforderungen ab. Dataflows sind eine gute Wahl für kleinere, häufig aktualisierte Datenmengen, während Data Pipelines und Notebooks für komplexere Datenverarbeitungsanforderungen und große Datenmengen geeignet sind. Shortcuts und Datenbankspiegelung bieten eine schnelle und effiziente Möglichkeit, Echtzeitdaten zu integrieren, ohne komplexe ETL-Prozesse durchführen zu müssen.

Das Verständnis der jeweiligen Vor- und Nachteile dieser Werkzeuge ermöglicht es, fundierte Entscheidungen zu treffen und das volle Potenzial von Microsoft Fabric auszuschöpfen. Wenn ihr weitere Fragen zu diesem Thema habt, kontaktiert uns! Die ORDIX AG bietet euch ein breites und tiefes Know-how für euer nächstes Datenintegrationsprojekt. 

Seminarempfehlung