11 - Benchmarking

Was ist Benchmarking?

Instrument, um durch festgelegten Methodiken System/Komponente auf Leistungsfähigkeit, Zuverlässigkeit und Sicherheit zu bewerten, was den Vergleich verschiedener Systeme/Komponente erlaubt

Was ist das Hauptziel von Benchmarking?

vergleichbare Daten über Effizienz und Leistung

Was für Arten von Benchmarking gibt es?

• synthetische Benchmarks

  • simulieren Reihe von Programmen und Operationen

• Anwendungsbenchmarks

  • Leistung von System bei realer Ausführung von Anwendungen und Programmen; typischer Einsatz

Was sind die Vor-/Nachteile von syntetischen Benchmarks?

Vorteile

• kontrollierbare Konditionen

• einfacher Vergleich

• fokusiert auf spezifische Leistungsaspekte

Nachteile

• Realitätsfern

• Optimisierungsfalle

• Vielfalt von Anforderungen

Was sind die Vor-/Nachteile von Anwendungsbenchmarks?

Vorteile

• reale Anwendungsszenarien

• ganzheitliche Bewertung

• Nutzungsrelevant

Nachteile

• komplex

• schwerer zu implementieren

• Spezifität

Was sind die Vergleichsparameter beim Benchmarking?

• mit anderen Systemen

• mit anderen Versionen

• gleiche Version mit anderen Paramtern

Was sind die Herausforderungen von Benchmarking?

• Standardisierung

• Relevanz

• Realitätsnähe

• Systemvielfalt

• Optimierungsfalle

• Technologischer Fortschritt

Was ist eine Metrik?

• quantitive Masseinheit, um Aspekte der Leistung zu messen

• dient als messbarar Indikator

• Grundlage für Vergleich und Verbesserungshinweise

Was ist Throughput?

• Menge an Arbeit, die ein System in einer bestimmten Zeit erledigen kann

• Indikator für leistungsfähiges System

• Anzahl der bearbeiteten Einheiten / Zeit

Was ist Response Time?

• Zeit von der Anfrage eines Benutzers bis zum Erhalt einer Antwort vom System

• Benutzerzufriedenheit und Usability

• Zeitpunkt der Antwort - Zeitpunkt der Anfrage

Was ist Availability?

• Prozentsatz der Zeit, in der ein System operationell und zugänglich ist

• hohe Verfügbarkeit wichtig für kritische Systeme

• (Gesamtzeit - Ausfallzeit) / Gesamtzeit

Was ist Downtime?

• Zeit, in der ein System nicht funktionstüchtig ist

• Minimierung der Ausfallzeiten wichtig für Aufrechterhaltung des Betriebes und Vermeidung von Unterbrechungen

• Gesamtzeit - Betriebszeit

Was ist Effizienz?

• Verhältnis zwischen dem erreichten Leistungsniveau und den dafür eingesetzten Ressourcen

• wirtschaftlichkeit des Systems, besonders in Kontext von begrenzter Ressourcen und Nachhaltigkeit

• Nutzleistung / Aufwand

Was ist Error-Rate?

• wie oft Fehler innerhalb eines bestimmten Zeitraums auftreten

• Zuverlässigkeit und allgemeine Qualität des Systems

• Anzahl der Fehler / Anzahl der ausgeführten Operationen

Was ist I/O-Rate?

• Geschwindigkeit, mit der Daten in das System eingegeben oder aus ihm ausgegeben werden

• Leistung von Systemen bei denen Daten-zugriff und -transfer wichtig ist

• Anzahl der I/O-Operationen / Zeiteinheit

Was sind die zwei Benchmark-Auführungs-Arten?

• Fixed Time Benchmarks

• Fixed Workload Benchmarks

Was sind die Merkmale von Fixed Time Benchmarks?

• festgelegte Zeitspanne

• wie viel Arbeit in bestimmte Zeit

• weiss: es geht zB 5 Min, aber nicht Operations-Specifics → Vergleich nicht so gut

Was sind die Merkmale von Fixed Workload Benchmarks?

• festgelegte Arbeitslast

• Geschwindigkeit verschiedener Systeme mit gleicher Aufgabenstellung

• cherry-picking Ergebisse kann problematisch sein (e.g., system A can solve problem in 9 min, B can’t, but both systems have the problem solved in 10 min ODER system A better in operation A while system B better in system B)

Was ist Speedup?

Leistungsverhältnis zweier Systemen basierend auf Ausführungszeit der Aufgabe

Wie kann Speedup verwendet werden?

• Vergleich von alten und neuen Technologien

• Bewertung der Skalierbarkeit von Algorithmen und Software

Wie wird Speedup berechnet?

Ausführungszeit auf Referenzsystem / Ausführungszeit auf neuem System

Was ist Scalability?

Anpassungsfähigkeit eines Systems bei steigender Last effektiv zu funktionieren

Was sind die zwei Arten von Scalability?

• vertikale Skalierbarkeit

  • Verbesserung durch Hinzufügen von Ressourcen

• horizontale Skalierbarkeit

  • Verbesserung durch Hinzufügen von Instanzen

Wie berechnet man effizienzbasierte Skalierbarkeit?

Effizienz_neu / Effizienz_alt

Wie berechnet man durchsatzbasierte Skalierbarkeit?

Durchsatz_neu / Durchsatz_alt

Wie berechnet man kapazitätsbasierte Skalierbarkeit?

Kapazität_neu / Kapazität_alt

Was sind die Herausforderungen von Reproduzierbarkeit?

• Hardware- und Softwarediversität

• Testumgebung

• Ausführungsreihenfolge

• Konfiguration des Testsystems

• Benchmark-Design

• Messschwankungen

• Menschlicher Faktor

• Unbeabsichtigtes Caching

Was sind die Massnahmen zur Förderung von Reproduzierbarkeit?

• Automatisierung

  • Automatisierung des Setups

  • Versionierung

  • Datenerfassung

• mehrere Wiederholungen

  • Verringerung von Anomalien

  • statistische Signifikanz

• Dokumentation

  • Hardware-Spezifikationen

  • Software und Versionsdetails

  • Benchmark-Konfiguration

  • Umgebungsbedingungen

  • Ablauf