Vorlesung 6 - Ausgewählte Grundlagen der KI NICHT FERTIG

4 Formen der Artificial Intelligence

Narrow AI

• can only carry out one specific task it was trained for

vs General AI

• can flexibly execute any task by continually learning and teaching itself

Discriminative AI = klassisch

• can classify a given input into one of its learned categories (Bilder Hund/ Katze)

vs Generative AI

• can produce new and unseen outputs based on some input (neue Videos)

Artifcial Intelligence - Graphik

3 Formen von Machine Learning

• Supervised Learning: Das Modell wird mit bekannten Beispieldaten mit Labeln und deren richtigen Lösungen trainiert, um zukünftige Vorhersagen treffen zu können.

• Unsupervised Learning: Der Algorithmus durchsucht selbstständig völlig unbeschriftete Daten ohne Label nach verborgenen Mustern, Ähnlichkeiten oder Strukturen.

• Reinforcement Learning: Ein System optimiert sein Verhalten in einer interaktiven Umgebung durch Versuch und Irrtum, basierend auf einem direkten Belohnungs- und Bestrafungssystem.

Large Language Models - Definition

LLMs sind eine Klasse von Modellen des maschinellen Lernens, die darauf trainiert sind, die Wahrscheinlichkeit einer Wortfolge unter Berücksichtigung eines vorangegangenen Kontextes vorherzusagen. Diese Modelle basieren auf dem Konzept der Sprachmodellierung, bei der das Ziel darin besteht, die Wahrscheinlichkeitsverteilung von Wörtern in einer bestimmten Sprache abzuschätzen.

Was ist der Unterschied zu normalen Kisten?

Es ist groß

• model parameters

• dataset size

• training compute (Rechenzeit/ -leistung)

Unexpected Properties/ Emergent Abilities - Definition

An ability is emergent if it is not present in smaller models but is present in larger models.

Small models → large models - Graphik

Von GPT zu ChatGPT - Objekt, Problem, Lösung

GPT = Generative Pre-Trained Transformer

Das Ziel: Das Erlernen der Struktur, Beziehungen und Muster von Sprache.

Das Problem: Überwachtes Lernen (supervised learning) auf Basis von durch Menschen beschrifteten Daten skaliert nicht (ist nicht skalierbar).

Die Lösung:

(1) Nimm einen riesigen Textdatensatz (d. h. das gesamte Internet)

(2) Extrahiere (Teil-)Sätze

(3) Erstelle automatisch einen Trainingsdatensatz, indem das letzte Wort entfernt und als Label (Zielwert) verwendet wird

Der Chat in ChatGPT - 3 Schritte

Schritt 1: Instructions

Schritt 2: Training a Reward Model

Schritt 3: Fine-Tuning the Instruction Model

FOLIE 13; VIDEO 37:39