Künstliche Intelligenz – Vorlesung Cap (Notizen)

Künstliche Intelligenz – Vorlesung Cap (Notizen)

1 Zum Einstieg

  • Was bedeutet KI? Künstliche Intelligenz (KI) als Gegenüber zu menschlicher Intelligenz; zentrale Frage: Was ist Intelligenz und wie lässt sie sich in Maschinen nachbilden?
  • Klassifikation von Systemen, die in der Veranstaltung erwähnt werden:
    • Regelbasierte Systeme
    • Expertensysteme
    • Statistische Klassifikatoren
    • Evolutionäre Algorithmen
    • Neuronale Netze
    • Sprachübersetzer
    • Mustererkenner
    • Autonomes Fahren
    • Logische Schlusssysteme
    • Objekterkenner
    • Texterzeugende Systeme (generative KI)
    • In aller Munde: ChatGPT
  • Hype Cycle der Gartner Group (Abb. 1): Generative AI als Technologie mit hohen Erwartungen (Peak of Inflated Expectations).
    • Kontext: Generative KI weckt derzeit besonders überzogene Erwartungen
    • Detaillierte Abb. im Anhang bezieht sich auf die Gartner-Variante
  • Abb. 3–8 illustrieren Beispiele: Selbstfahrendes Auto, Arzt mit ruhiger Hand, Operations-Roboter, da Vinci-Roboter, politische Verbindungen, etc. (vom Autor generiert oder real).
  • Abbildungen am Einstieg zeigen, wie KI Inhalte generieren kann (Grok2, freepik-Verweise, etc.).
  • Wichtiger Kontext: KI als Diskussionsthema in Medien und Gesellschaft; Differenzierung zwischen reiner Sprachgenerierung und zugrundelndem Verständnis/Verifikation.

2 Wie funktioniert das?

2.1 Neuronen

  • Idee 1 (Basis-Neuron):
    • Eingaben x1, x2, …, xj mit Gewichten w1, w2, …, wj
    • Aktivierungsvorlage: z = ∑j wj xj + w0 (Bias)
    • Ausgabe: y = σ(z) mit der Sigmoid-Funktion
      \sigma(x) = \frac{1}{1 + e^{-x}}
  • Ziel des Lernens: Gewichte adaptieren, um Vorlagen/Beispiele besser zu interpolieren (Supervision).
  • Gradientenabstieg als Lernalgorithmus. Ziel: Minimierung einer Fehlerfunktion über die Gewichte.
  • Idee 2 (Neuronale Netze): Kombination mehrerer Neuronen zur Repräsentation boolescher Funktionen wie AND, OR, XOR.
    • Konnektivitäten ermöglichen Mehrschichtlogik (Trick: Multilayer-Verbindungen) für komplexe Muster.
  • Terminologie: Neuron model, Aktivierungsfunktionen, Bias, Gewichte, Lernregel.

2.2 Sprachcodierung

  • Idee 3: Geometrische Einbettung von Sprache – Embeddings in Vektorraum zur Repräsentation semantischer Beziehungen.
    • Beispiel: Gehaltsähnlichkeiten oder Bedeutungsverschiebungen durch Vektorrelationen.
    • Kalb = Küken + (Kuh − Huhn) illustriert das Konzept der Vektor-Arithmetik in Embeddings.
    • Cohere Embeddings (Beispiel) mit 4096 Dimensionen; Hinweis auf Vektor-Arithmetik als Lernmechanismus.
  • Idee 4: Kontext-Abhängigkeiten – Kontexte beeinflussen Wort-Wahrscheinlichkeiten.
    • Abb. 9 (Bank im 1. Kontext): Bank1 = 0.9 Holz + 0.7 Sitzen + 0.01 Geld + 0.01 Kredit
    • Abb. 10 (Bank im 2. Kontext): Bank2 = 0.03 Holz + 0.02 Sitzen + 0.9 Geld + 0.8 Kredit
    • Design durch freepik; Kontextabhängigkeit ist zentral für Spracheinbettung.
  • Idee 5: Prädiktionen und Fragen – Kontext-bedingte Prädiktion aus Wortwahrscheinlichkeiten.
    • Beispiele für natural language Queries statt Lückentexte: Was ist der Zinssatz? Wo bekomme ich den besten Zinssatz?
    • Problemszenarien: current rates, Suche nach Informationen und präzise Formulierungen.
  • Idee 6: Beschleunigung – Architekturelle Mechanismen zur Beschleunigung von Sprachmodellen.
    • Generieren neuer Texte statt Lückengenerierung.
    • Pre-Training (P), Transformer-Architekturen: paralleles Lernen durch Attention – Hinweis: „Attention is all you need“ (Abb. 11).
    • Hardware-Entwicklung: CPU → GPU → Neural/Neuromorphische Chips.
    • Abb. 11: “Attention is all you need” – zentrale Arbeitspapier; Abb. 12: Nvidia GPUs & Neuro-Chips.

2.3 Beschleunigen (Fortsetzung)

  • Wichtige Zusammenfassung der Mechanismen zur Effizienzsteigerung von Sprachmodellen:
    • Generierung statt Lückenfüllung
    • Pre-Training
    • Transformer-Architektur mit Attention
    • Fortschritte in Hardware (GPUs, Neuro-Chips)

3 Experimente mit ChatGPT

3.1 Können Computer rechnen?

  • Beispiel: Multiplikation 1234 × 2345 → 2893730 (korrekte Lösung).
  • Feststellung: Suchmaschinen können rechnen (Google, DuckDuckGo, Yahoo, Bing).
  • Behauptung: ChatGPT kann (3.5) nicht zuverlässig rechnen; Leistung variiert je nach Kontext.
  • Abb. 13: ChatGPT 3.5 kann nicht rechnen.
  • Abb. 14: ChatGPT 3.5 macht Fehlschlüsse; falsche Berechnung; ChatGPT akzeptiert jedoch falsche Antworten.
  • Hinweis: ChatGPT-4 löst dies besser, insbesondere mit Aufgabenerkennung und rechnerischem Subsystem; Hinweis, ab jetzt ChatGPT-4 verwenden.

3.2 Eine Auswahl von Textaufgaben

  • Bob der Barbier – Paradoxon: Wer rasiert die, die sich nicht selbst rasieren? – Analyse 1: Wenn er sich nicht rasiert, müsste er sich rasieren; Analytische Überlegungen zu Logikparadoxien.
  • Fred der Friseur – Transfer des Friseur-Beispiels auf weitere Figuren (ChatGPT kennt diese Beispiele aus dem Buch).
  • Maria die Mutter / Maria die Köchin / Kurt der Koch – Transfers von Friseur-Beispielen auf andere Bezugspersonen; Unterschiede in Transferkraft je Sitzung.
  • Wichtige Zwischenbemerkung: ChatGPT antwortet oft anders in Folgesitzungen; Generative Modelle erzeugen neue Inhalte; Experimente nicht 1:1 reproduzierbar.

3.3 Münzverwiege-Aufgaben

  • Münzproblem: 8 Münzen, eine leichte Münze; daraufhin 2 Wägungen auf einer Balkenwaage.
    • Lösungsweg: Erste Wägung teilt in 3+3+2 auf; 3 gegen 3; je nach Balance weiter in 1+1+1 etc.
    • Zwei Fälle: Balanciert – grüne Münze ist leichter; Unbalanciert – in der leichteren Gruppe 1 vs 1 die leichtere finden.
  • Abb. 19: ChatGPT-Dialoge und Probleme bei Münzaufgaben; Verwirrung nach Dialog.
  • Abb. 20–22: Dialoge in neuer Sitzung; unklare Erkennung der Frage; mangelnde Robustheit der Antworten.
  • Wichtig: ChatGPT wirkt manchmal sinnvoll, liefert aber nicht zuverlässig korrekte Verifikation bei Nicht-Text-Aufgaben.
  • Vermerk: Die Experimente zeigen Limitierungen generativer Modelle bei formalen/logischen Aufgaben.

3.4 Wolf-Ziege-Kohlkopf Problem

  • Klassisches Bauer-Ziege-Wolf-Kohlkopf-Problem; einfache Logikaufgabe, die von KI-Systemen oft scheitert (Blamabel – laut Vortrag).
  • Illustration: Bauer, Ziege, Wolf, Kohlkopf (Abb. 37); Verweis auf realistische Illustration von Hendrik Kranenberg.
  • Experiment von mindmatters.ai (2024) dokumentiert; ChatGPT scheitert in mehreren Versuchen; Beleg: Abb. 38–41.
  • Abb. 24–25: Buch über KI; Hofstadter-Zitat; Popper/Lübbe-Weisheiten – Hinweis auf Grenzen von KI als echte Intelligenz.
  • Abschluss: Veranschaulichung, dass KI trotz Sprachkompetenz logische Schlussfolgerungen nicht zuverlässig durchführen kann.

3.5 KI als Suchmaschine

  • Abb. 26–27: KI als Suchmaschine – positive Berichte; ChatGPT als Such- und Wissensbasis-Interface. Vorteil: Paraphrasieren und konsolidieren großer Textkorpora.
  • Abb. 50: Kritische Perspektiven – ChatGPTs mathematische Leistung gegenüber Graduierten-Studierenden; als Such-/Wissensmaschine nützlich, aber auf graduate-Niveau problematisch.
  • Abb. 28–29: Prompt-Kurs-Quellen; KI als Lern- und Suchhilfe.
  • Abb. 29–32: Beispiele von KI-generierten Inhalten, Tripelpendel-Balancieren; KI-kreierte Inhalte – mit Verweis auf Rechtsnachweise.
  • Hinweis: Ergebnisse sind nicht reproduzierbar; Ergebnisse variieren stark je Prompt und Sitzung; Thought process ist schwer verifizierbar.

3.6 Dialoge mit Menschen

  • Marketing-Text-Prompt-Beispiele: Aufforderungen, Studierende der Differentialgeometrie zu muggen; Ergebnisse entsprechen dem erwarteten Marketing-Quatsch; Ergebnisse nicht reproduzierbar.
  • Abb. 31–34: Verschiedene Dialog-/Text-Beispiele; Variation der Antworten, die Ergebnisse beeinflussen die Überzeugung anderer.
  • Fazit: Dialogfähigkeit von KI kann Überzeugung beeinflussen, aber verlässliche/wissenschaftliche Texte erfordern weitere Validierung.

4 Schlußfolgerungen

4.1 Erste Erkenntnisse und Thesen

  • Positive Anwendungen, die keine spezialisierte technische Intelligenz erfordern:
    • Antworten auf Fragen, deren Antworten in Textkorpora vorhanden sind und deren exakte Lokalisierung aufwendig wäre.
    • Situationen, in denen es primär um Textproduktion statt um präzise technische Formulierungen geht.
    • Einsatz als bessere Suchmaschine und Paraphrasierer, der Texte im großen Trainingskorpus findet und sinnvoll wiedergibt.
  • Negative Beobachtungen:
    • Bei kleinen Abweichungen in Inhalten werden Antworten oft falsch.
    • Hinweise auf Fehler führen oft zu vagen Entschuldigungen statt klaren Korrekturen.
    • Nutzer, die selbst kein Vorwissen haben, bleiben verwirrt.
  • Zentrale ethische/praktische Impulse:
    • Explainable AI (Erklärbarkeit) als wichtiges Kriterium, da Ergebnisse oft schwer nachvollziehbar sind.
    • Bias aus Textkorpora wird reproduziert; Verantwortung für Inhalte unklar; Transparenz, was im Korpus enthalten ist.
    • Copyright- und Mediengenerations-Fragen: Kennzeichnung, welche Medien KI-generiert sind.
    • Degeneration menschlicher Fähigkeiten durch übermäßige Abhängigkeit; Konfliktpotenzial bei Verantwortungszuweisung.
    • Kosten des Stromverbrauchs von großen Modellen; ökologische Auswirkungen.
    • Potenzial für Deep Fakes (Bild/Text).
  • Gesellschaftliche Implikationen: Verstärkung des Grabs zwischen Wissenden und Unwissenden; Notwendigkeit von Governance, Regulierung und Bildungsmaßnahmen.

4.2 Philosophische Gedanken zum Schluß

  • Zentrale Fragestellung: Wie viel Autorität geben wir Maschinen über relevante Entscheidungen? Kann KI menschenzentrierte Werte ersetzen oder unterstützen?
  • Popper-Zitate und hermann-lübbe-Aussagen zur Verantwortung und Macht der Technik:
    • Sir Karl Popper: Der Versuch, den Himmel auf Erden einzurichten, führt oft zur Hölle – offene Gesellschaft vs. Utopien.
    • Hermann Lübbe: Wer überzeugt ist, allein die richtigen Antworten zu besitzen, könnte Gewalt legitimieren; Ethik der Überzeugung.
    • Joseph Weizenbaum: Die Macht der Computer und die Ohnmacht der Vernunft – kritische Perspektive auf Automatisierung und moralische Verantwortung.
  • Die Kernbotschaft: Der Mythos der technischen Zwangsläufigkeit ist beruhigend, birgt aber Verantwortung bei Nutzenden und Entwicklern; offene Gesellschaft benötigt Transparenz, Rechenschaftspflicht und klare Grenzen.
  • Meine Lieblingsantwort (Zusammenfassung): Eine reflektierte Haltung: KI kann als Werkzeug dienen, aber menschliche Urteilskraft, Ethik, Transparenz und Verantwortungsbewusstsein bleiben unabdingbar.

Anhang und Verzeichnis

  • Verzeichnis der Abbildungen (Abb. 1–41) sowie Rechtsnachweise im Dokument; Abbildungen umfassen Gartner-Hype-Cycle-Darstellungen, KI-Generierung von Bildern, historische Zitate und Beispiele aus der Praxis.
  • Rechts-/Danksagungen: Das Dokument verweist auf Bildrechte, Freepik, US Navy, etc.; Urheberrechtshinweise und Zitierweisen am Ende.
  • Zitierweise dieses Dokuments: Quellenangaben, BibTeX-Einträge, und Hinweise zur korrekten Zitierung der Inhalte.

Wichtige Formeln und numerische Referenzen (Kompakt)

  • Sigmoid-Aktivierungsfunktion:
    \sigma(x) = \frac{1}{1 + e^{-x}}
  • Feedforward-Neuron (als Standardmodell): y=σ(∑<em>j=1nw</em>jxj+b)y = \sigma\left(\sum<em>{j=1}^n w</em>j x_j + b\right)
  • Embeddings: Dimensionen der Embedding-Vektoren in dem Beispiel: D=4096D = 4096
  • Multiplikation-Beispiel aus 3.1: 1234×2345=28937301234 \times 2345 = 2893730
  • Hinweis auf Transformer-Arbeitsumfang: zentrale Idee der Attention-Mechanismen; Referenzpapier: "Attention is all you need".
  • Kontext-Beispiele (Bank im Kontext): Kontextspezifische Koeffizienten wie in Abb. 9–10 (Bank1/Bank2) – konkrete Gewichtungen als Beispiele, nicht als universelle Gleichungen.