Ratgeber

Extract, Transform, Load: ETL-Lösungen auf einen Blick

Seite 2 / 2

Fivetran

Fivetran stammt ebenfalls aus Kalifornien und ist 2013 aus dem renommierten Startup-Inkubator Y Combinator heraus gegründet worden. Inzwischen zählt das Unternehmen über 100 Mitarbeiter und kann namhafte Kunden wie den Payment-­Anbieter Square vorweisen. Neben nativen Konnektoren für über 70 Cloud­anwendungen können Anwender auch Daten aus eigenen Datenbanken extrahieren. Dabei werden so gut wie alle populären Datenbanksysteme unterstützt, von klassischen SQL-­Systemen wie MySQL, PostgreSQL und ­Microsofts SQL-Server über dokumenten­orientierte Systeme wie MongoDB bis hin zu modernen Clouddatenbanken wie Amazon ­Aurora und DynamoDB. Für jede angebundene Datenquelle generiert das System automatisch ein übersichtliches Entity-Relationship-­Diagramm (ERD), um sicherzustellen, dass die Daten leicht verständlich und problemlos abzufragen sind. Hinzu kommt die Möglichkeit, benutzer­definierte Konnektoren in einer Serverless Umgebung wie Amazon Lambda oder Google Cloud Functions zu erstellen. Die serverlosen Funktionen werden dann von Fivetran in benutzerdefinierten Zeitabständen abgerufen und die Daten in das Data-Warehouse geladen. Kunden haben die Auswahl zwischen Bigquery, ­Redshift, Azure SQL, ­Data-Warehouse und Snowflake.

Die All-in-One-Plattform Panoply bietet neben zahlreichen Integrationsmöglichkeiten ein ­eigenes Data-Warehouse und ermöglicht die direkte Anbindung an Business-Intelligence-Tools.

Die All-in-One-Plattform
Panoply bietet neben zahlreichen Integrationsmöglichkeiten ein ­eigenes Data-Warehouse und ermöglicht die direkte Anbindung an Business-Intelligence-Tools. (Screenshot: Panoply)

Panoply

Eine weitere Lösung, von der Startups und KMU profitieren können, ist Panoply. Der in Tel Aviv entwickelte Dienst präsentiert sich als Smart-Data-Warehouse, das ETL-Tools und eine Data-Warehouse-­Lösung auf einen gemeinsamen Nenner bringt. ­Damit können Anwender nicht nur unterschiedliche Daten­quellen anbinden und Daten automatisiert extrahieren sowie transformieren, sondern sie auch direkt in ­Panoply lagern. Aus den extrahierten Daten lassen sich Daten­tabellen erstellen, die frei konfigurierbar und sofort einsatzbereit sind. Anwender, die sich für Panoply entscheiden, müssen also die Daten nicht nach Redshift, Bigquery oder in ein anderes Data-Warehouse exportieren. Um die Daten auszuwerten, lassen sich populäre BI-Tools wie etwa Bime oder Tableau Software integrieren. Die monatlichen Preise beginnen ab 250 Dollar für 25 Millionen Rows und 12,5 Gigabyte Speicherplatz.

Mit Xplenty bietet sich eine weitere professionelle ­ETL-Lösung, die ebenfalls aus Tel Aviv stammt. Größere Unternehmen mit erhöhten Anforderungen rund um Sicherheit und Compliance sollten sich auch die Lösungen der Enterprise-Klasse wie Talend, Matillion, Nexla und Adeptia näher anschauen.

Alternative Datenintegrationslösungen

Neben diesen ETL-Systemen, die für ein breites Publikum konzipiert sind und die typischen Anwendungsfälle rund um ­Datenintegration und Analytics unterstützen, gibt es zahlreiche Alternativen, die eine Marktnische adressieren oder spezielle Use-Cases abbilden. So fokus­siert sich StarfishETL zum Beispiel auf die Integration und Migration von CRM-­Daten, während ­Dataloader.io sich dem Import und Export von Salesforce-Daten widmet. Mit dem günstigen Datenintegrationstool Skyvia kann man Daten aus vielen ­Cloud­anwendungen extrahieren, aber nur in einfachen Dateien (CSV, JSON, etc.) ausgeben. Die ­Cloudriesen Amazon und Google wiederum bieten mit Data-­Pipelines ­beziehungsweise Cloud-Dataflow ebenfalls kostengünstige Datenintegrationsdienste, mit denen Daten, die in der ­jeweiligen Cloud gespeichert sind, sich automatisiert nach Redshift beziehungsweise Bigquery exportieren lassen. Die praktischen ­Konnektoren für SaaS-Dienste von Drittanbietern sucht man hier jedoch vergeblich.

Segment fokussiert sich auf ­Kundendaten

Ebenfalls erwähnenswert ist Segment, das zwar keine ETL-­Lösung im engeren Sinne, aber dennoch eine attraktive Alternative für Einsteiger ist, die ihre Kunden besser verstehen möchten. Anders als die meisten ETL-Systeme fokussiert sich das in San Francisco gegründete Startup, das bis dato rund 100 ­Millionen Dollar eingesammelt hat, ausschließlich auf Kundendaten. Es vermarktet seine Lösung als „Customer Data Infrastructure“-Plattform, mit der Firmen sämtliche Kunden­informationen, egal wo sie entstehen und gespeichert werden, auf einen gemeinsamen Nenner bringen können. Firmen wie Levi’s, Trivago und IBM setzen Segment schon ein, um ein unternehmensweites, einheitliches Verständnis ihrer Kunden zu gewinnen. Mit Preisen, die bei 120 Dollar pro Monat anfangen, kommt Segment auch für kleinere Unternehmen in Frage. Der Dienst ermöglicht die automatisierte Datenintegration mit über 200 Systemen. Entwickler können zudem die nativen SDK von Segment in ihre Apps integrieren und sämtliche User Actions und Logs selbst erfassen.

Fazit

Ein klares, detailliertes Kundenverständnis, das auf Basis ­kontinuierlicher Analysen stetig an neue Gegebenheiten angepasst wird, verschafft Unternehmen entscheidende Vorteile im Markt. Um ein solches Kundenverständnis zu erreichen und es jeder Fachabteilung zugänglich zu machen, brauchen Unternehmen eine Infrastruktur, mit der Daten aus unterschiedlichen ­Kanälen gesammelt, an einem zentralen Ort gespeichert und analysiert werden können. ETL-Lösungen wie Stitch, Alooma oder auch Segment machen genau dies möglich – und versetzen neben etablierten Konzernen zunehmend auch ­Start­ups in die Lage, diese komplexen Prozesse vollständig zu automatisieren.

ETL-Lösungen in der Übersicht findet ihr hier.

Bitte beachte unsere Community-Richtlinien

Wir freuen uns über kontroverse Diskussionen, die gerne auch mal hitzig geführt werden dürfen. Beleidigende, grob anstößige, rassistische und strafrechtlich relevante Äußerungen und Beiträge tolerieren wir nicht. Bitte achte darauf, dass du keine Texte veröffentlichst, für die du keine ausdrückliche Erlaubnis des Urhebers hast. Ebenfalls nicht erlaubt ist der Missbrauch der Webangebote unter t3n.de als Werbeplattform. Die Nennung von Produktnamen, Herstellern, Dienstleistern und Websites ist nur dann zulässig, wenn damit nicht vorrangig der Zweck der Werbung verfolgt wird. Wir behalten uns vor, Beiträge, die diese Regeln verletzen, zu löschen und Accounts zeitweilig oder auf Dauer zu sperren.

Trotz all dieser notwendigen Regeln: Diskutiere kontrovers, sage anderen deine Meinung, trage mit weiterführenden Informationen zum Wissensaustausch bei, aber bleibe dabei fair und respektiere die Meinung anderer. Wir wünschen Dir viel Spaß mit den Webangeboten von t3n und freuen uns auf spannende Beiträge.

Dein t3n-Team

Ein Kommentar
Alexander Reschke

Vielen Dank für den informativen Artikel! Je größer die Vielfalt an Daten aus unterschiedlichen Quellen wird, desto mehr steigt der Bedarf nach modernen Datenintegrationslösungen, um diese noch sinnvoll nutzen zu können. Deshalb ist es gut, diesen Überblick zu haben.
Ich möchte auch noch Data Virtuality Pipes in den Ring werfen, da es die einzige ETL-Lösung ist, die in Deutschland entwickelt wird und mit Kunden von Blinkist bis Audi viele Usecases im deutschen Markt abdeckt.
Disclaimer: Ich arbeite bei Data Virtuality.

Antworten

Melde dich mit deinem t3n Account an oder fülle die unteren Felder aus.

Bitte schalte deinen Adblocker für t3n.de aus!

Hey du! Schön, dass du hier bist. 😊

Bitte schalte deinen Adblocker für t3n.de aus, um diesen Artikel zu lesen.

Wir sind ein unabhängiger Publisher mit einem Team bestehend aus 65 fantastischen Menschen, aber ohne riesigen Konzern im Rücken. Banner und ähnliche Werbemittel sind für unsere Finanzierung sehr wichtig.

Danke für deine Unterstützung.

Digitales High Five,
Stephan Dörner (Chefredakteur t3n.de) & das gesamte t3n-Team

Anleitung zur Deaktivierung