„Wir haben dieses Quartal 1,2 Millionen Angriffe blockiert.“

Der CISO präsentiert stolz seine Zahlen. Der Vorstand nickt. Alle sind zufrieden.

Aber was sagt diese Zahl eigentlich wirklich aus? Ist 1,2 Millionen viel oder wenig? Wären es ohne die neuen Tools 2 Millionen gewesen oder doch nur 1,1 Millionen? Und waren das überhaupt echte Angriffe oder nur Port-Scans von Script-Kiddies?

Die unbequeme Wahrheit ist: Die meisten Security-Metriken, die in Vorstandspräsentationen landen, sind Vanity Metrics. Sie wirken beeindruckend, sagen aber nichts Nützliches aus.

Das Problem mit Aktivitätsmetriken

Die häufigsten Security-Metriken messen Aktivität und nicht Wirkung. Sie zeigen, was das Security-Team getan hat und nicht was es wirklich erreicht hat.

Die Anzahl blockierter Angriffe. Die Anzahl gescannter Systeme. Die Anzahl durchgeführter Trainings. Die Anzahl geschlossener Tickets. Die Anzahl installierter Patches. Und so weiter.

Das Problem: Mehr ist nicht automatisch besser. Wenn du mehr Angriffe blockst, kann das daran liegen, dass du besser verteidigst oder dass du mehr angegriffen wirst oder vielleicht sogar nur ein Zeichen dafür dass du zuvor „auf dem Auge blind“ warst. Wenn du mehr Trainings durchführst, kann das die Awareness verbessern oder aber auch nur Zeit verschwenden.

Aktivitätsmetriken sind nicht nutzlos. Sie zeigen, dass etwas passiert. Aber sie beantworten nicht die eigentlich wichtige Frage: Sind wir sicherer als vorher?

Ergebnismetriken: Was wirklich zählt

Die bessere Alternative sind Ergebnismetriken. Sie messen nicht, was du tust, sondern was du erreichst.

Mean Time to Detect (MTTD): Wie lange dauert es, bis wir einen Angriff bemerken? Diese Metrik ist gold wert. Je kürzer die Zeit, desto weniger Schaden kann ein Angreifer anrichten. Eine Verbesserung von 72 Stunden auf 24 Stunden ist messbar, nachvollziehbar und relevant.

Mean Time to Respond (MTTR): Wie lange dauert es von der Erkennung bis zur Eindämmung? Auch hier gilt: Je kürzer, desto besser. Und im Gegensatz zu „Anzahl blockierter Angriffe“ ist das eine Zahl, die du tatsächlich verbessern kannst.

Dwell Time: Wie lange war der Angreifer im Netzwerk, bevor er entdeckt wurde? Die durchschnittliche Dwell Time weltweit liegt immer noch bei Wochen bis Monaten. Wenn du unter dem Durchschnitt liegst, machst du etwas richtig.

Coverage: Wie viel deiner Angriffsfläche ist durch Kontrollen abgedeckt? Wie viele Systeme werden gepatcht, geloggt, überwacht? Lücken in der Coverage sind konkrete Risiken.

Die Metrik, die Vorstände verstehen: Risiko in Euro

Am Ende interessiert den Vorstand eine Frage: Was kostet uns das Risiko?

Hier kommt quantitative Risikoanalyse ins Spiel. Wenn du sagst „Unser erwarteter jährlicher Verlust durch Cyberangriffe liegt bei 2 Millionen Euro, mit einem 90%-Konfidenzintervall bis 8 Millionen“, dann hast du eine Zahl, mit der ein CFO arbeiten kann.
Das ist schwieriger zu berechnen als „Anzahl blockierter Angriffe“. Es erfordert Annahmen, Schätzungen, Modelle. Aber es ist die einzige Metrik, die eine rationale Investitionsentscheidung ermöglicht.
Wenn eine Security-Maßnahme 500.000 Euro kostet und das erwartete Risiko um 800.000 Euro senkt, ist sie eine gute Investition. Wenn sie das Risiko nur um 200.000 Euro senkt, nicht. Diese Rechnung kannst du nur machen, wenn du das Risiko quantifizierst.

Die gefährlichsten Metriken

Es gibt Metriken, die aktiv schädlich sind, weil sie falsches Verhalten fördern.

Anzahl der gefundenen Vulnerabilities: Wenn das dein KPI ist, wirst du mehr suchen, aber nicht unbedingt mehr fixen. Du optimierst auf das Finden, nicht auf das Beheben.

Anzahl der Incidents: Weniger Incidents klingt gut. Aber was, wenn das Team einfach aufhört, Incidents zu dokumentieren? Oder wenn die Detection-Tools heruntergedreht werden, damit weniger Alerts feuern?

Compliance-Score: 100% Compliance ist schön für den Bericht. Aber Compliance bedeutet nicht Sicherheit. Und wenn der Score zum Ziel wird, werden Kontrollen implementiert, die auf dem Papier existieren, aber in der Praxis nicht funktionieren.

Das Gesetz von Goodhart: Wenn eine Metrik zum Ziel wird, hört sie auf, eine gute Metrik zu sein. Menschen optimieren auf die Metrik hin, nicht auf das, was sie eigentlich messen sollte.

Die richtige Balance finden

Gute Security-Metriken haben ein paar gemeinsame Eigenschaften.

Sie sind relevant für Entscheidungen. Wenn eine Metrik keine Konsequenzen hat, wenn durch ihre Erhebung niemand anders handelt, egal ob sie steigt oder fällt, dann ist sie definitiv überflüssig.

Sie sind manipulationsresistent. Wenn das Team die Metrik verbessern kann, ohne die Sicherheit zu verbessern dann wird genau das auch passieren.

Sie sind verständlich. Eine Metrik, die nur der Security-Architekt versteht, ist keine gute Metrik für die Vorstandspräsentation.

Sie haben eine Baseline und einen Trend. Eine einzelne Zahl sagt nichts. Erst im Vergleich zum Vormonat, zum Vorjahr, zum Branchendurchschnitt wird sie aussagekräftig.

Ein praktisches Framework

Hier ist ein einfaches Framework für Security-Metriken, das ich in der Praxis gerne nutze.

Auf der operativen Ebene: MTTD, MTTR, Patch-Latency (Zeit von Veröffentlichung bis Installation), Coverage-Metriken (Prozent der Systeme mit aktuellem Agent, Prozent der Logs in SIEM, etc.).

Auf der taktischen Ebene: Trends in Incident-Schweregrad, Erfolgsrate von Phishing-Simulationen über Zeit, Anteil kritischer Vulnerabilities älter als 30 Tage.

Auf der strategischen Ebene: Quantifiziertes Risiko in Euro, Risikoveränderung über Zeit, Kosten pro verhinderten Incident (wenn messbar).

Für den Vorstand: Maximal fünf Zahlen, die zusammen ein Bild ergeben. Risiko, Trend, größte Lücken, größte Verbesserungen.

Metriken als Kommunikationswerkzeug

Ein Aspekt, der oft übersehen wird: Metriken sind nicht nur für die interne Steuerung wichtig sondern sie sind ein echtes Kommunikationswerkzeug.
Wenn du dem Vorstand die richtigen Metriken präsentierst, änderst du die Art und Weise, wie er über Security denkt. Statt „Wie viele Angriffe hatten wir?“ fragt er vielleicht „Wie schnell erkennen wir Angriffe?“. Statt „Sind wir compliant?“ fragt er „Wie hoch ist unser Risiko?“.

Die Metriken, die du wählst, formen auch das Gespräch. Nutze das zum Vorteil aller.

Den Mut zur Ehrlichkeit, den es braucht

Am Ende erfordern gute Metriken immer Mut zur Ehrlichkeit.

Die Ehrlichkeit zu sagen: „Wir wissen nicht genau, wie sicher wir sind.“
Die Ehrlichkeit zu sagen: „Diese Zahl ist eine Schätzung mit Unsicherheit.“
Die Ehrlichkeit zu sagen: „Wir messen das, aber wir wissen nicht, ob es das Richtige ist.“

Die Alternative wäre: Pseudo-Präzision, aufgeblasene Zahlen, Metriken, die gut aussehen aber nichts oaussagen. Das ist aber langfristig nur destruktiv. Irgendwann wird jemand fragen, warum die Millionen blockierten Angriffe nicht verhindert haben, dass der eine, der durchgekommen ist, der ist der zählte.

Besser: Von Anfang an ehrliche Metriken nutzen, die zeigen, was du weißt, was du nicht weißt, und wo du besser werden musst.

Das ist unbequem. Aber es ist die einzige und richtige Grundlage für echte Verbesserungen.

—

Weiterführend: „How to Measure Anything in Cybersecurity Risk“ von Douglas Hubbard und Richard Seiersen ist das beste Buch zu diesem Thema, das ich kenne.