KI im Maschinenbau

Definition KI aus dem EU AI Act

maschinengestütztes System, das mit unterschiedlichem Grad an Autonomie betrieben werden kann

zeigt Anpassungsfähigkeit nach Einführung

kann für explizite oder implizite Ziele aus den Inputs Ausgaben generieren, die Umgebung beeinflussen (z.B. Vorhersagen, Inhalte, Empfehlungen, Entscheidungen

→ keine einheitlich bindende Definition

Andere Definitionen von KI

menschlich Denken: Computer zum Denken bringen

menschlich Handeln: Maschinen erschaffen, die intelligente Funktionen ausführen können

rational Denken: Berechnungen zum Wahrnehmen, Schlussfolgern und Handeln

rational Handeln: intelligentes Handeln

Definition Machine Learning/ Maschinelles Lernen

Teilbereich von Künstlicher Intelligenz

Computer lernt aus Daten, um Verhalten/ Erfahrung zu verbessern ohne explizit programmiert zu werden

Fähigkeit an neue Gegebenheiten anzupassen und Muster zu erkennen und auf neue Daten zu übertragen

Definition Neuronale Netze/ Deep Learning

NN: maschinelles Lernmodell in Informatik, was Lernprozessen im menschlichen Gehirn imitieren soll

DL: NN mit komplexen, tiefen Strukturen → viele Schichten von Neuronen

Beispiele von KI

LLM: Large Language Model → Chatbots mit Sprachmodellen (ChatGPT)

AlphaFold: 3D Vorhersage von Proteinstrukturen

1vs1 Brettspiele: Schach, Go

Bilderkennung in Industrie oder Autonomes Fahren (Computer Vision)

Robotik und Automatisierung

Was ist die grundlegende Struktur einer Python Klasse?

Klasse mit Namen enthält als erstes Initialisierungsmethode __init__(self, _, _,) mit verschiedenen Attributen self._

danach normale Instanzmethode def fahren(self, _):

zum Arbeiten mit der Klasse & Methoden → Instanziieren eines Objekts: mein_auto= Auto(_ , _)

Aufrufen der Methode mit nachricht = mein_auto.fahren(x)

Was sind die wichtigen Begriffe in der Wahrscheinlichkeitstheorie?

Bayes Theorem: verbesserte Einschätzung (A-posteriori Wahrscheinlichkeit) durch Berücksichtigung von bestehender Annahme (A-priori Wahrscheinlichkeit) mit neuen Beobachtungen (Likelihood)

CDF: Kumulative Verteilungsfunktion

Erwartungswert: gewichteter Durchschnittswert

Varianz: misst wie weit stark die Werte um den Erwartungswert schwanken

Standardabweichung: Wurzel von der Varianz

Was sind die gängigen Verteilungen in der Wahrscheinlichkeitstheorie?

Bernoulli Verteilung: diskrete Verteilung mit q=1-p

Binomial Verteilung: diskrete Verteilung mit mehreren Bernoulli Versuchen

Gleichverteilung: stetige Verteilung mit gleicher Wahrscheinlichkeit in Intervall

Normalverteilung: stetige Verteilung mit Erwartungswert und Varianz

mehrdimensionale Normalverteilung: stetige Verteilung mit Erwartungswert-Vektor und Kovarianzmatrix

Wie funktioniert das Gradientenverfahren?

Startwert als Ausgangspunkt

während Abbruchbedingung nicht erfüllt ist wird Schrittweite berechnet und Schritt in Richtung von steilstem Gradienten/ Abstieg zum Update gemacht

approximierte Lösung wird zurückgegeben, optimale Lösung aber nicht garantiert (lokales Minimum)

Abbruchbedingungen: max Iterationen, Norm des Gradienten, Diff der Iterierten, Diff der Funktionswerte

Wie funktioniert das stochastische Gradientenverfahren?

Erweiterung von Gradientenverfahren um stochastische Auswahl von Teil des Gradienten der nach Schrittweite berechnet wird

Updateschritt wird mit zufälligem Teil des Gradienten berechnet

sorgt für weniger Anfälligkeit in lokalem Minimum zu landen

Welche weiteren Optimierungsverfahren gibt es?

Branch and Bound: Branching, Bounding, Pruning von Lösung in Entscheidungsbaum/ Teilprobleme

Heuristiken: Greedy (Sequenz lokal optimaler Entscheidungen), lokale Suche (Schrittweise lokal optimale Verbesserung ausgehend von zulässiger Startlösung)

Simulated Annealing: Erweiterung von lokaler Suche (akzeptiert mit gewisser Wahrscheinlichkeit auch Verschlechterungen, um nicht in lokalem Min stecken zu bleiben, Temperatur nimmt ab → Wahrscheinlichkeit für Verschlechterungen auch)

Evolutionäre/ genetische Algorithmen: Fitness von Population bewertet; fitte Individuen werden als Eltern gekreuzt für 1 oder 2 neue Lösungen; Teil der Nachkommen mit Mutation modifiziert; neue Population basierend auf Fitness gewählt

Skalarisierung (bei Mehrziel): z.B. gewichtete Summen Methode (einzelnen Kostenfunktionen wird Gewicht zugeordnet, dann addiert zu skalarer Kostenfunktion, dann min finden

Gradienten:

Was ist Pareto-Optimalität im Zusammenhang von optimalen Kompromissen in einer Mehrzieloptimierung?

dominierender Punkt, wenn in allen Dimensionen besser oder gleich wie ein anderer Punkt

pareto optimaler Punkt, wenn von keinem anderen Punkt dominiert (global oder lokal in Umgebung)

Pareto Menge besteht aus allen pareto optimalen Punkten → Pareto Front in Visualisierung

utopischer Punkt ist unerreichbar mit globalem min in allen Dimensionen

Was ist der Unterschied zwischen modellbasierten und datengetriebenen Verfahren?

modellbasiert: Abbildung basiert auf physikalischen oder mathematischen Gleichungen

datengetrieben: Abbildung basiert allein auf verfügbaren Daten

Ziel: Muster in Daten erkennen, um generalisierbare Abbildung zu erzeugen, die auch auf neue, unbekannte Daten anwendbar ist

Vorraussetzung geeignete Grundlage: ausreichend viele Datenpunkte, relevante Merkmale (Features), wenig Rauschen, keine systematischen Fehler

Wie ist der Ablauf für das Vorgehensmodell für datengetriebene Verfahren (Knowledge Discovery in Databases (KDD))?

Datenintegration: Zusammenführen aus mehreren Quellen, Entfernen irrelevanter Daten, verarbeitungsfreundliches Format

Datenbereinigung: Bereinigung von fehlenden Werten, Duplikate, Ausreißer

Datentransformation: Konvertierung zu numerischen Werten, Skalierung, neue Merkmale durch arithmetische Verknüpfungen, Rauschunterdrückung

Modellbildung: Klassifikation, Regression, Statistik, Korrelation

Interpretation: Visualisierung, Bewertung, Vorhersagekraft

Welche Skalenniveaus gibt es?

Nominal (Qualitativ): Einteilung in Kategorien → z.b. Maschinen-Typen

Ordinal (Qualitativ): Rangordnung möglich → z.b. Werkzeugverschleiß: niedrig, mittel, hoch

Intervall (Quantitativ): Differenzbildung zulässig → z.b. Temperatur in °C

Verhältnis (Quantitativ): Natürlicher Nullpunkt → z.b. Temperatur in Kelvin

Absolut (Quantitativ): Natürliche Einheit mit natürlichem Nullpunkt → z.b. Anzahl Maschinen, Fehleranzahl, Unfälle pro Tag

Welche Notation und Begrifflichkeiten sind in Data Science wichtig?

Merkmal/ Attribut/ Feature: Liste mit allen Werten zu einem der Merkmale

Featurewert: einzelner Eintrag in Feature Spalte

Zielvektor/ Targetvektor/ Outputvektor: resultierendes generiertes Ergebnis aus den Feature Vektoren zuvor

Label/ Target: einzelner Eintrag in Targetvektor

Featurevektor/ Inputvektor: Zeilenvektor mit einem Eintrag aus jedem Merkmal

Sample im Datensatz/ Dateninstanz: Featurevektor + Label/ Target aus Output

Welche Methoden gibt es zur Datenbereinigung?

Daten löschen: fehlende Werte entfernen wenn Datensatz groß genug

Median/ Mean Imputation: fehlende Werte durch Mittelwert/ Median ersetzen, wenn mind Intervallskala und fehlende Werte nicht ungewöhnlich stark abweichen

lineare Interpolation: fehlende Werte werden linear zwischen Nachbarn interpoliert, wenn mind Intervallskala und Daten kontinuierliche Veränderung zeigen, die zeitlich regelmäßig erhoben wurden

Forward/ Backward Fill: fehlende Werte werden mit vorherigem oder nachfolgenden Wert ersetzt, wenn keine signifikanten Schwankungen da sind und Lücken nicht zu groß

Duplikate entfernen/ beibehalten, je nachdem ob unbeabsichtigt oder legitime Mehrfacheinträge

Ausreißer beibehalten, entfernen oder glätten, je nachdem ob Anomalie erkannt wurde, Daten fehlerhaft sind oder Daten unwichtig sind aber Struktur erhalten bleiben soll

Welche Methoden gibt es zur Datentransformation?

Label/ Ordinal Encoding: jeder kategorische Wert eines Merkmals bekommt eindeutige ganzzahlige Kodierung (label - nominalskaliert (Maschinentyp) / ordinal - ordinalskaliert (Maschinenverschleiß))

One-Hot-Encoding: eigene binäre Indikatorspalte für jedes nominalskalierte Merkmal → 1 wenn Merkmal zutrifft und 0 wenn nicht; bei ordinalskaliert nicht sinnvoll, da Rangfolge verloren geht

Frequency Encoding: nominalskalierte Werte von Merkmal werden durch absolute/ relative Häufigkeit ersetzt; bei ordinalskaliert nicht sinnvoll, da Rangfolge verloren geht

min-max Skalierung: Skalierung der Daten auf festen Wertebereich von 0 bis 1 für alle Dimensionen; relative Verhältnisse zwischen den Werten bleiben erhalten; empfindlich ggü Ausreißern

Standardisierung: Werte so transformiert, dass Mittelwert=0 und Standardabweichung=1 ist → Wertebereich mit Koordinatenursprung in der Mitte; besserer Umgang mit Ausreißern

robuste Skalierung: Verwendung von Median (Wert unter dem 50% der Messwerte liegen) und Interquartilsabstand (Differenz zwischen dem 75. und 25. Perzentil)

L2- /L1-Normierung: Gesamtlänge des Merkmals = 1/ Summer der Absolutbeiträge aller Merkmalelemente = 1

Feature Engineering: neue Merkmale basierend auf bestehenden Merkmalen für zusätzliche Informationen, z.b. Moving Average für kurzfristige Glättung/ Interaktionsmerkmale durch mathematische Operationen und physikalische Zusammenhänge

Rauschunterdrückung: Hochpass-/ Tiefpass-/ Bandpassfilter für Reduktion unerwünschter, normalverteilter Störungen

Warum ist eine Datenaufteilung nötig und wie werden sie typischerweise aufgeteilt?

Minimierung von Kostenfunktion während Training garantiert keine gute Generalisierung auf neue Daten & schlechte Vorhersageleistungen → Risiko von Overfitting

zu wenig Daten sorgen für Underfitting

Aufteilung in disjunkte Teilmengen für Trainingsdaten (Lernen der Modellparameter) / Validierungsdaten (Auswahl von Hyperparametern & Modellarchitektur) und Testdaten (Bewertung der Generalisierungsfähigkeit) → Verhältnis 0.7/0.15/0.15

Gegenmaßnahmen Overfitting: Early Stopping, Regularisierung, Modellkomplexität reduzieren

Welche beiden Arten von Machine Learning Modellen & Paradigmen gibt es?

Diskriminativ (→ Klassifikation): Lernen der Klassenunterschiede durch direkte Modellierung der Entscheidungsgrenze

Generativ (→ Regression): Lernen gemeinsame Verteilung von Eingabe und Ausgabe, so dass neue Daten erzeugt werden können

supervised: Musterkennung mit gelabelten Daten

unsupervised: Mustererkennung oder Strukturfindung mit ungelabelten Daten

Reinforcement Learning: Lernen durch Belohnung & Bestrafung in interaktiver Umgebung

Woraus besteht ein multivariates, lineares Modell mit Basisfunktionen?

Modell f_theta ist Skalarprodukt von Parametervektor (theta) und Basisfunktion (psi)

Welche supervised Machine Learning Algorithmen gibt es?

Lineare Regression

Logistische Regression

K-nearest Neighbors

Support Vektor Machine

Entscheidungsbäume

Wie funktioniert die lineare Regression im ML?

Ziel: kontinuierliche Zielgröße anhand einer/ mehrerer Eingangsvariablen vorhersagen durch lineare Beziehung zwischen Modellparametern und Zielgröße → Nichtlinearitäten über Basisfunktion Phi(x) einbringbar

Modellfehler pro Datenpunkt durch MSE Kostenfunktion minimieren → Lösung mit Hilfe von SGD

bei normalverteilten Fehlern ist MSE die optimale Kostenfunktion und entspricht Maximum-Likelihood-Estimation (MLE)

Reduktion von Overfitting durch Regularisierung z.b. durch Bestrafung von hohen Parameterwerten

Wie funktioniert die logistische Regression?

Modellierung von Wahrscheinlichkeit für Defekt mit Sigmoid f_theta und Parametervektor theta

durch Hinzufügen einer Wahrscheinlichkeitsgrenze Nutzung als Klassifikator

Steuerung von Risiko durch Einstellen von Wahrscheinlichkeitsgrenze c

Maximierung der Log-Likelihood liefert optimale Parameter, Lösung mit SGD

Wie funktioniert der K-Nearest Neighbors (KNN) Algorithmus?

geeignet für Klassifikation & Regression

Punkt wird anhand seiner k-nächsten Nachbarn klassifiziert → Wahl von k ist Hyperparameter, kein Parametervektor

Skalierung der Wertebereiche notwendig;

Distanz durch euklidische Norm für jeden neuen Punkt zu allen Trainingspunkten berechnen → Zuordnung zu Klasse die am häufigsten vorkommt

Schätzung der Zielgröße bei Regression durch Mittelwert der k-nächsten Nachbarn

Wie funktioniert der Support Vector Machine Algorithmus?

Zwei-Klassen-Klassifikation oder One-vs-Rest-Klassifikation bei mehreren

Maximierung der Generalisierungsfähigkeit durch maximalen Rand → Bestimmung durch konvexes Optimierungsproblem mit Gleichungsnebenbedingungen

bei nicht linear trennbaren Daten folgt Transformation der Instanzen in höherdimensionalen Raum

wenn Daten immer noch nicht klar trennbar sind, dann Schlupf (Fehlklassifikation) zulassen

Optimierungsproblem ist Maximierung des Margins (Abstand von Support Vektoren zur Trennlinie)