Data Science

Business Intelligence Definition

Business Intelligence ist die entscheidungsorientierte Sammlung, und Aufbereitung geschäftsrelevanter Informationen

Big Data

Volume

Variety

Velocity

Sichtweise auf Daten

Big Data vs Small Data

BA vs. BI

BI ist die Erfassung und Aufbereitung von Daten, welche dann in BA genutzt werden um Trends vorherzusagen

Descriptive Analytics

Analytics aus vergangensheitbezogenen Daten, welche in DWH Systemen gesammelt werden. Grundlage für Vorhersagen.

Predictive Analytics

Die gesammelten Daten (descriptive) werden in Vorhersagen umgewandelt mit Trendanalysen und Machine Learning

Prescriptive Analytics

Ziel ist es Handlungsalternativen zu bewerten. Was soll ich tun?

Business Intelligence Entwicklung Schuabild. (Letzten 2 wichtig)

BI als integrierter Gesamtansatz

BI ist ein integrierter, unternehmensspezifischer, IT-basierter Gesamtansatz der alle Ebenen umfasst.

Die 3 Schichten von BI Schaubild

Wissenspyramide Schaubild

Datentypen mit Python Beispiele

Nominal: Definierte Begriffe

Ordinal: Tabellen mit Ordnung

Metrisch: integer, flows

Datentypen

Strukturierte Daten: Datenstrukturen die angeordnet und verknüpft werden können. XCL

Semi-strukturierte Daten: keine allgemeine Struktur und flexibel. XML

Unstrukturierte Daten. Keine formalisierte Struktur. Text, Bilder

Datenrelevanz Schaubild

Datenqualität Beispiele

Korrektheit

Konsistenz

Zuverlässigkeit

Vollständigkeit

…

Operative vs. Dispositive Daten Schaubild

AbAblauf Datenanalyse Schaubild

Problembereiche Datenselektion

Knnen die selektierten Daten rechtlich/technisch überführt werden?

Technische Restriktionen: Kapazitätsgrenze-, Datentypbeschränkungen

Möglichkeiten zur Problemlösung: Beschränkung auf representative Teildatenmengen, Zusammenführen von Daten aus verschiedenen Quellen. Internen und externe Daten nutzen

Ziele Datenaufbereitung

Elimination von Ausreißern

Re-Codierung von Variablen (Ländercodes)

Ziehung von Teilstichproben

Reduktion der Variablenzahlen

Datentransformierung

Transformierung von bestimmten Daten in das gewollte Format, durch Datentransformationsprozesse. Die Daten werden dann in Data Warehouses gespeichert

DWH Merkmale

Subjektorientierung. Auswahl der zu übernehmenden Daten nach Datenobjekten, wie Firma, Kunde, Land usw.

Integration: Die in verschiedenen (operativen) Quellsystemen unstrukturierten Daten werden einheitlich gespeichert

Zeitraumbezug: Analysen über zeitliche Veränderungen sollen ermöglicht werden, wofür langfristige Speicherung nötig ist.

Nicht-Volatilität: Daten werden dauerhaft gespeichert

DWH Schaubild

ETL Prozess

Überführung von operativen Daten in Subjekt- und themenbezogenen Daten.

Extract, Transform, Load

Cora Data Warehouse

Zentrale Datenhaltung in einer relationalen Datenbank, durch Füllung durch Quellsystemen oder ODS

Data Marts

Kleine Datenpools für spezielle Nutzgruppen oder Anwendungen

Operational Data Store (ODS)

Vorstufe des DWH und enthält in Real-Time eine Kopie der Transaktionsdaten eines operativen Systems, die Historie ist aber begrenzt. In das Core DWH werden dann meist nur wichtige Daten eingespeist

Metadaten

Enthalten „Daten über Daten“ über alles gespeicherten DHW und ODS Daten und ihre Zusammenhänge

Administrationsschnittstellen

Steuerung von Modifikationen, Einschränkung, Erweiterung und Berechtigung

Aktivitäten des ETL Prozess (Nicht ausgeschrieben)

Filterung: Extraktion aus operativen Daten und Bereinigung

Harmonisierung: Betriebswirtschaftliche Abstimmung gefilterter Daten

Aggregation: Verdichtung gefilterter und harmonisierter Daten

Anreicherung: Bildung von Kennzahlen und Dimensionen

OLAP

Online Analytical Processing.

Multidimensionaler Datenzugriff durch Generierung mehrdimensionaler Datenwürfel

Schaubild OLAP Datenwürfel

OLAP Operationen

Drill-Down: Nächst-detailliertes Merkmal suchen (Süden in 4 Zonen)

Roll-Up: nächst-detailliertes Merkmal nach oben suchen (Tag zu Monat)

Slice: Schiebe aus Würfel angucken

Dice: kleineren Würfel angucken

Rotate: Drehung, dadurch andere Sichtweise

OLAP Konzepte vor un Nachteile

ROLAP: Für hohe Datenmenge, kann direkt auf DWH gesetzt werden

MOLAP: Flexibel und schnell, Daten müssen jedoch erst in Datenbank geladen werden

HOLAP: Mischvariante von ROLAP und MOLAP

Nochmal schnell Gründe/Arten von Datenanalysen

Deskriptiv/descriptive: Was ist passiert?

Diagnostisch/diagnostic: Warum ist es passiert

Prädiktiv/predictive: Was wird passieren?

Präskriptiv/prescriptive: Was soll getan werden?

Die Arten beschreiben gleichzeitig die Reife der Analyse, von was war, zu, was soll getan werden.

Methoden für die Analysearten

Deskriptiv: Reporting über Dashboard

Diagnostisch: OLAP über Data Cube

Prädiktiv: Data Mining über Clusterbildung

Präskriptiv: Maschinelles Lernen durch Mustererkennung

Unterschied Top-Down und Bottom-Up Analyse

Top-Down Analyse beginnt mit einer Theorie welche durch Daten gestützt oder verworfen wird.

Bottom-Up bezeichnet das Gegenteil, also aus bestehenden Daten werden Muster erkannt und dann eine Theorie entwickelt

Data Mining Methoden Schaubild

Ablauf maschinelles Lernen

Datenakquise

Verarbeitung

Trainieren

Testen

Einsetzen

Gegenüberstellung Data Mining und Maschinelles Lernen (bestimmt nicht so wichtig) Schaubild

Schichtenmodell für Analytics

Möglichen Use-Case identifizieren

Datenquellen und Inhalt finden und verstehen

Datenakquise und Speicherung über Dateninfrastruktur

Analyse und Umsetzung mit Analyse-Tools