KISE 01

Was ist der Kernunterschied zwischen AI4SE und SE4AI?

AI4SE nutzt KI zur Unterstützung von Software-Engineering-Aktivitäten;

SE4AI wendet Software-Engineering-Prinzipien auf die Entwicklung von KI-Systemen an.

Welches Merkmal beschreibt das „Supervised Learning" (überwachtes Lernen)?

Die Trainingsdaten liegen in Paaren von (Eingabe, Ausgabe) vor.

Welche zwei Innovationen sind essenziell für die Transformer-Architektur?

Attention und Positional Encoding.

Wie geht das „Top-p" Sampling bei der Textgenerierung vor?

Es werden so viele der wahrscheinlichsten Token gewählt, bis deren kumulierte Wahrscheinlichkeit einen Schwellenwert p erreicht.

Wie wird das „Vokabular" eines Sprachmodells basierend auf einem Corpus definiert?

Es ist die Menge (Set) aller unterschiedlichen Tokens im gesamten Corpus.

Was passiert im Schritt „Zusammenfassen" des Byte-Pair Encoding (BPE) Algorithmus?

Die zwei am häufigsten nebeneinanderstehenden Zeichenfolgen werden zu einem neuen Token verschmolzen.

Wie beeinflusst der Parameter „Temperature" (T) den Sampling-Prozess eines LLMs?

Die Temperature skaliert die Logits vor dem Softmax; ein niedriger Wert macht die Verteilung "spitzer" (weniger Zufall).

Welche Aussage bzgl. der „Perplexity" ist korrekt?

a. Eine hohe Perplexity deutet darauf hin, dass das Modell die Testdaten sehr gut vorhersagen kann.

b. Die Perplexity ist ein Maß für die physikalische Rechenleistung, die ein LLM benötigt.

c. Eine niedrigere Perplexity bedeutet, dass das Modell weniger „überrascht" von den Testdaten ist und diese besser vorhersagt.

d. Perplexity wird nur zur Messung der Bildqualität in KI-Modellen verwendet.

Eine niedrigere Perplexity bedeutet, dass das Modell weniger „überrascht" von den Testdaten ist und diese besser vorhersagt.

Definieren Sie den Begriff 'AI4SE' (Artificial Intelligence for Software Engineering).

Einsatz von KI-Methoden zur Unterstützung, Automatisierung oder Verbesserung von Aktivitäten wie Requirements Engineering, Testgenerierung oder Wartung.

Was umfasst das Feld 'SE4AI' (Software Engineering for Artificial Intelligence)?

Anwendung von SE-Praktiken auf den Lebenszyklus von KI-Systemen, einschließlich Datenmanagement, Modellvalidierung und Deployment.

Welches Merkmal beschreibt das 'Supervised Learning' (überwachtes Lernen) hinsichtlich der Datenstruktur?

Die Trainingsdaten liegen in Paaren von (Eingabe, Ausgabe) bzw. Labels vor.

Was ist das primäre Ziel des Supervised Learning?

Das Lernen einer Abbildung, die für eine neue Eingabe die korrekte Ausgabe vorhersagt.

Warum ist 'Generalisierung' im Maschinellen Lernen essenziell?

Das Modell muss das Gelernte auch auf unbekannten Daten (Testdaten) erfolgreich anwenden können.

Wie wird beim 'Reinforcement Learning' (bestärkendes Lernen) ein Modell trainiert?

Durch Interaktion mit einer Umgebung wird versucht, eine Belohnung über die Zeit zu maximieren.

Nennen Sie zwei essenzielle Innovationen der Transformer-Architektur.

Attention (Aufmerksamkeit) und Positional Encoding.

Wie funktioniert das 'Top-p' Sampling bei der Textgenerierung?

Es werden so viele der wahrscheinlichsten Token gewählt, bis deren kumulierte Wahrscheinlichkeit einen Schwellenwert p erreicht.

Wie wird das 'Vokabular' eines Sprachmodells definiert?

Es ist die Menge (Set) aller unterschiedlichen Tokens im gesamten Trainings-Corpus.

Was passiert im Schritt 'Zusammenfassen' des Byte-Pair Encoding (BPE) Algorithmus?

Die zwei am häufigsten nebeneinanderstehenden Zeichenfolgen werden zu einem neuen Token verschmolzen.

Welchen Effekt hat ein niedriger Temperature-Wert (T

Die Wahrscheinlichkeitsverteilung wird 'spitzer', was zu konservativeren und weniger zufälligen Antworten führt.

Welchen Effekt hat ein hoher Temperature-Wert (T>1) auf den Sampling-Prozess?

Die Verteilung wird 'flacher', was die Kreativität und die Vielfalt (Zufälligkeit) der Antworten erhöht.

Wo genau im Modellprozess greift der Parameter 'Temperature' an?

Er skaliert die Logits vor der Anwendung der Softmax-Funktion.

Was sagt eine niedrigere 'Perplexity' über ein Sprachmodell aus?

Das Modell ist weniger 'überrascht' von den Testdaten und kann diese besser vorhersagen.

Wie lautet die mathematische Definition der ReLU-Aktivierungsfunktion?

f(x)=max(0,x)

Berechnen Sie ReLU(−8).

0,
weil f(-8)=max(0,-8) = 0

Auf welcher Basis trifft der k-Nearest Neighbor (k-NN) Algorithmus Vorhersagen?

Auf Basis der k nächsten Nachbarn eines Datenpunkts im Merkmalsraum.

Wie wird bei k-NN im Falle einer Klassifikation die Klasse bestimmt?

Die Mehrheit der Klassen der nächsten k Nachbarn entscheidet.

Wie wird bei k-NN im Falle einer Regression der Vorhersagewert bestimmt?

Durch den Mittelwert der Zielwerte der nächsten k Nachbarn.

Wie lautet die Grundstruktur einer linearen Regressionsfunktion?

f(x)=wx+b

Wofür stehen die Variablen w und bin der linearen Regression?

w = Weight (Gewicht/Steigung)

b = Bias (Y-Achsenabschnitt)

Was misst der 'Mean Squared Error' (MSE) beim Training eines Modells?

Den Durchschnitt der quadrierten Differenzen zwischen Vorhersagewerten und tatsächlichen Zielwerten.

Was ist die 'Accuracy' eines Modells?

Der Anteil der korrekt klassifizierten Beispiele an der Gesamtzahl der Beispiele.

Unterscheiden Sie 'Parameter' und 'Hyperparameter' im Kontext von ML.

Parameter werden vom Modell gelernt (z. B. w,b), Hyperparameter werden vom Nutzer vor dem Training festgelegt (z. B. k, Lernrate).

Was gibt die Lernrate η (Eta) in einem neuronalen Netz an?

Die Schrittweite der Parameteranpassung während der schrittweisen Verbesserung (Gradientenabstieg).

Was ist das primäre Ziel von 'Early Stopping'?

Das Training zu beenden, wenn der Validierungsfehler steigt, um Overfitting zu vermeiden und die Generalisierung zu verbessern.

Wann genau sollte 'Early Stopping' laut der Fehlerkurve angewendet werden?

Am Minimum des Validierungsfehlers, bevor dieser wieder ansteigt.

Definieren Sie 'Batch Size' im Kontext von Tensorflow/Neuronalen Netzen.

Die Anzahl der Trainingsbeispiele, die gleichzeitig verarbeitet werden, bevor die Gewichte aktualisiert werden.

Was ist das Ziel von 'Genetic Improvement' (GI) in der Softwareentwicklung?

Die Verbesserung von Software-Eigenschaften wie Laufzeit oder Energieeffizienz durch Mutationen.

Wie können LLMs im Bereich 'Genetic Improvement' eingesetzt werden?

LLMs dienen als Werkzeug zur Erzeugung von Variationen (Mutationen) im Softwarecode.

Warum ist die 'Accuracy' bei unbalancierten Datensätzen problematisch?

Sie kann eine hohe Genauigkeit vortäuschen, wenn das Modell lediglich die Mehrheitsklasse vorhersagt.

Begriff: Search-Based Software Engineering (SBSE)

Anwendung von Optimierungsalgorithmen (z. B. evolutionäre Suche), um Probleme im Software Engineering zu lösen.

Was ist der 'Kobra-Effekt' im Kontext von Belohnungen (Reinforcement Learning)?

Eine falsche Anreizsetzung führt dazu, dass das Modell ein Verhalten lernt, das zwar die Belohnung maximiert, aber dem eigentlichen Ziel widerspricht.

Welche Problemklasse liegt vor, wenn versteckte Strukturen in Daten ohne Labels gefunden werden sollen?

Unsupervised Learning (unüberwachtes Lernen).