KISE 2/3

KI vs. ML vs. DL

KI = Oberbegriff
.
ML = Computerlernen (Teilbereich aus KI)
.
DL = Zweig des Maschinellen Lernens. Inspiriert von der Funktionsweise des Gehirns

Pretraining vs Finetuning

Pretraining:

• Start bei zufälligen Gewichten.

• Riesige Textmengen.

• Ziel: nächstes Token vorhersagen.

• Kosten : Monate, Millionen Euro.

Finetuning:

• Start bei den vorhandenen Gewichten.

• Kleiner, spezialisierter Datensatz.

• Ziel : Verhalten

• Kosten : Stunden bis Tage.

Pretraining = jemand lernt Deutsch.

Finetuning = derselbe Mensch lernt, wie man am Telefon mit Kunden spricht.

Trainingsset vs validierungsset vs Testset

Accuracy vs Parameter vs Hyperparameter

Weitere Aktivierungsfunktionen

Bag of Words

BoW macht Text zu Zahlen, indem es zählt, welche Wörter vorkommen — und dabei vergisst, wie sie angeordnet waren.

Was sind Corpora?

Was macht die Tokenisierung?

Was ist ein Vokabular?

Was besagt Zipfs Law

Bag of Words Limitationen

Was ist das nächste Wort?
.
- es war_____ (N=1, N=2, N=3)

Was ist Wordnet

Word Embeddings

Byte-pair Encoding

Häufigste Zeichenpaare iterativ zu Tokens verschmelzen

Fun Facts :
- Läuft über riesige Textsammlungen
- zählt wie oft zeichen nebeneinander auftauchen
- es entstehen neue bausteine, größer als Buchstaben, kleiner als Wörter

Byte Pair Encoding Algorithmus

Rouge-N vs Rouge-L

Likert-Skala

Likert Skala Pro/Contra

Was besagt die Lokalitätsbedingung bei evolutionären Algorithmen?

Sie besagt, dass :

kleine Änderungen im Genotyp, also der genetischen Repräsentation, auch nur zu kleinen Änderungen im Phänotyp, dem daraus resultierenden Verhalten oder der Struktur, führen sollten.

Erklären Sie den Begriff Patch im Kontext von Genetic Improvement und nennen Sie einen Vorteil dieser Repräsentation.

Ein Patch repräsentiert lediglich die spezifischen Änderungen am Quellcode anstatt einer Kopie der gesamten Datei, was die Effizienz der Evolution deutlich steigert.

Beschreiben Sie eine Limitation rein zeilenbasierter Patches beim Genetic Improvement.

• Zeilenbasierte Patches sind oft zu grobkörnig

da sie keine Änderungen innerhalb :

einer einzelnen Zeile oder an feingranularen syntaktischen Strukturen vornehmen können.

Erklären Sie die Folge der Zustandslosigkeit (Statelessness) von LLMs für längere Dialoge.

Da das Modell keine Informationen über den aktuellen Aufruf hinaus speichert, muss bei jedem neuen Schritt der gesamte relevante Dialogverlauf im Prompt mitgeliefert werden.

Welches Risiko entsteht, wenn KI-Agenten Dokumentation sowohl schreiben als auch konsumieren?

Es besteht die Gefahr eines geschlossenen Feedback-Zirkels, bei dem Agenten Fehler oder Halluzinationen in die Dokumentation schreiben, die sie in späteren Schritten als Fakten konsumieren.