Willkommen auf der Homepage von data-crawler.de für Datawarehousing und Business Inteligence.

Die Welt der Daten ändert sich in einem gewaltigen Tempo. Daten fallen in unglaublichen Mengen an. Oftmals werden noch Daten hinzugekauft um die eigenen Daten sinnvoll zu ergänzen. Dabei stellt sich irgendwann die Frage was kann man mit diesen Datenschatz machen?

Die Daten in ein Datawarehouse zu überführen scheint sinnvoll.

Was ist ein Datawarehouse? Eine weitere Datenbank?

Ein Datwarehouse ist in der Tat eine Datenbank. Sie folgt aber einen gänzlich anderen Ansatz als eine typisch-relationale SQL Datenbank. EIn Datwarehouse hält die Daten nicht nur bis diese geändert werden, ein Datawarehouse behält die Daten über Jahre, ja sogar Jahrzehnte. Auch jede Änderung der Daten wird erhalten, so der Stand zu jeden Zeitpunkt abgefragt werden. Auf diese Weise kommen schnell Peta Mengen an Daten zusammen. Zusätzlich ist ein Datawarehouse abfrageoptimiert, um die Daten in einem Frontend performant darstellen zu können. Aber auch eine Anreichunung der Daten oder eine Datentransformation erfolgt im Datawarehouse. Das Ziel ist dabei immer, die Daten aus den Vorsystemen mit möglichst viel Informationsgehalt zu versehen, damit aus diesen Daten Erkenntnisse gewonnen werden können die zur Entscheidungsfindung genutzt werden können. Oftmals werden auch Daten per Machine Learning in der Qualität verbessert oder durch Informationen angereichert.

Technisch betrachtet erfolgt in einem Datawarehouse ein ETL Prozess, es werden Daten

–Extrahiert, d.h. aus den Vorsystemen, z.B. SAP, Excel, externe Datenanbieter übernommen.

–Transformiert, d.h. aus den technischen Daten werden für den Menschen lesbare Informationen erzeugt

–Laden hier werden die Daten ins Datawarehouse übertragen und für Auswertungen bereitgestellt

Die Darstellung der Daten erfolgt oftmals über ein sogenanntes semantisches Modell, dass die Daten zunächst aus dem Datenwarehouse abruft und mit Formeln anreichert die in den Frontends zur Verfügung stehen und zur Visualisierung genutzt werden können. Auch erfolgt oftmals eine weitere Anreichung der Daten über ein „Side Load“, d.h. temporäre Daten werden aus z.B. Excel Dateien den Daten hinzugefügt. Auch die Integration von KI Algorithmen kann hier erfolgen um eine weitere Datenverbesserung zu erreichen.

Im Präsentation Layer erfolgt dann die Visualisierung der Daten mittels eines geeigneten Tools wie zum Beispiel Power BI, Qlik, Tableau oder einfach automatisiert in Excel. Hier ist die Entscheidung der Visualisierungsart oder des Designs ebenfalls zu beachten. Auch die Einbindung von LLM (Large Language Model) kann hier erfolgen.

Gerne unterstützen wir Sie mit unserem Fachwissen und dem technischen Know-How.

Wir freuen uns über Ihre Anfrage.