Quelltext der Seite Grafana: Alerting mit E-Mail, Microsoft Teams und Webhooks

{{Steckbrief
| gilt_fuer   = Grafana Alerting in Grafana 13.x (Grafana-verwaltete Alarmregeln); Kontaktpunkte E-Mail, Microsoft Teams (Workflows), Webhook, Telegram u. a.
| bereich     = Server-Software
| dauer       = Grundeinrichtung ca. 1 Stunde; je Alarmregel ca. 10 Minuten
| rechte      = Grafana-Rolle Editor (Regeln) bzw. Admin (Kontaktpunkte, Richtlinien); in Microsoft Teams Recht zum Anlegen von Workflows
| stand       = Oktober 2026
}}
'''Alerting mit Grafana''' meldet Probleme, bevor Benutzer sie bemerken: Plattenplatz knapp, Server nicht erreichbar, Fehlerflut im Log, Leitung ausgelastet. Grafana bewertet dazu regelmäßig Abfragen auf Prometheus, Loki und anderen Datenquellen und benachrichtigt per E-Mail, Microsoft Teams, Webhook oder Messenger. Diese Anleitung erklärt die Bausteine des Grafana Alerting, zeigt typische Alarmregeln, die Einrichtung von Microsoft Teams über Workflows und Regeln, mit denen Alarme nützlich bleiben statt zu nerven.

[[Datei:Grafana-Alerting.png|thumb|center|750px|Grafana Alerting: Alarmregel mit Abfrage, Bedingung und Schwelle, Auswertungsintervall in einer Regelgruppe, Wartezeit (Pending) und Erholungsschwelle; Zustände Normal, Pending, Alerting/Firing, Recovering, No Data und Error; Labels wie severity und team steuern über Benachrichtigungsrichtlinien den Weg zu Kontaktpunkten E-Mail, Microsoft Teams per Workflows-Webhook, Webhook an Ticketsystem; Gruppierung, Group wait 30 s, Group interval 5 min, Wiederholung 4 h; Ruhezeiten für Wartungsfenster.]]

== Die Bausteine des Grafana Alerting ==
{| class="wikitable"
! Baustein !! Aufgabe
|-
| '''Alarmregel''' || Abfrage + Bedingung (z. B. „freier Speicher &lt; 10 %“), ausgewertet in einer '''Regelgruppe''' im festen Intervall
|-
| '''Labels''' || Merkmale wie <code>severity=kritisch</code>, <code>team=netzwerk</code> – entscheiden über den Benachrichtigungsweg
|-
| '''Kontaktpunkt''' || Ziel der Benachrichtigung: E-Mail, Teams, Webhook, Telegram, Slack, PagerDuty u. a.
|-
| '''Benachrichtigungsrichtlinie''' || Baum aus Regeln, der Alarme anhand der Labels an Kontaktpunkte leitet und gruppiert
|-
| '''Ruhezeit''' (Mute timing) || unterdrückt Benachrichtigungen zu festen Zeiten, z. B. im Wartungsfenster
|-
| '''Vorlage''' || passt Betreff und Text der Benachrichtigung an
|}
Die Bereiche liegen unter ''Alerts & IRM › Alerting''. Grundlagen: [[Alerting]].

== Alarmzustände ==
* '''Normal''' – alles in Ordnung.
* '''Pending''' – die Bedingung ist erfüllt, aber noch nicht lange genug (Wartezeit, z. B. 5 Minuten) – verhindert Alarme bei kurzen Spitzen.
* '''Alerting / Firing''' – Alarm aktiv, Benachrichtigung wird verschickt.
* '''Recovering''' – Wert ist zurückgegangen, Alarm wird bei Bestätigung aufgehoben.
* '''No Data''' und '''Error''' – die Abfrage liefert nichts bzw. schlägt fehl; für jede Regel festlegen, ob das als Alarm, als „OK“ oder als eigener Zustand gilt. Für Erreichbarkeitsregeln ist „No Data = Alarm“ meist richtig.
* Eine '''Erholungsschwelle''' (z. B. Alarm bei 90 %, Entwarnung erst unter 85 %) verhindert flatternde Alarme.

== Schritt 1: Kontaktpunkte einrichten ==
'''E-Mail''': SMTP in der Grafana-Konfiguration (<code>GF_SMTP_*</code>) einrichten, dann ''Contact points › Add contact point'', Integration ''Email'', Empfänger wie <code>it-alarm@firma.de</code>.

'''Microsoft Teams''': Die früheren Office-365-Connectors in Teams sind abgelöst; Grafana nutzt einen '''Workflow mit Webhook''':
# In Teams im gewünschten Kanal ''Workflows'' öffnen und die Vorlage '''„Post to a channel when a webhook request is received“''' (bzw. „Bei Empfang einer Webhook-Anforderung in einem Kanal posten“) wählen.
# Am Ende die angezeigte '''Webhook-URL''' kopieren. Bei privaten Kanälen im Workflow die Aktion „Adaptive Karte posten“ auf ''Als Benutzer posten'' umstellen.
# In Grafana Kontaktpunkt mit Integration '''Microsoft Teams''' anlegen, URL einfügen, ''Test'' und speichern.
* Die Webhook-URL ist ein Geheimnis – wer sie kennt, kann in den Kanal posten.

'''Webhook''': Für Ticketsysteme, n8n oder eigene Skripte; Grafana sendet JSON mit allen Alarmdaten. Authentifizierung per Kopfzeile oder Basic Auth hinterlegen.

== Schritt 2: Benachrichtigungsrichtlinien ==
''Notification policies'':
{| class="wikitable"
! Richtlinie !! Label-Bedingung !! Kontaktpunkt
|-
| Standard || – || E-Mail IT-Team
|-
| Kritisch || <code>severity = kritisch</code> || Teams-Kanal „IT-Alarme“ + E-Mail Bereitschaft
|-
| Netzwerk || <code>team = netzwerk</code> || Teams-Kanal „Netzwerk“
|-
| Wartung || <code>severity = info</code> || nur E-Mail, mit Ruhezeit nachts
|}
* '''Gruppierung''' (z. B. nach <code>alertname</code> und <code>standort</code>) fasst gleichartige Alarme zu einer Nachricht zusammen – fällt ein Switch aus, kommt eine Meldung statt zwanzig.
* '''Zeitsteuerung''': Erste Nachricht nach ''Group wait'' (Standard 30 Sekunden), neue Alarme der Gruppe frühestens nach ''Group interval'' (5 Minuten), Erinnerung bei weiter aktivem Alarm nach ''Repeat interval'' (4 Stunden).
* '''Ruhezeiten''' für bekannte Wartungsfenster; für einmalige Arbeiten '''Silences''' (Stummschaltungen) mit Ablaufzeit setzen.

== Schritt 3: Typische Alarmregeln ==
''Alert rules › New alert rule'', Datenquelle Prometheus bzw. Loki:
{| class="wikitable"
! Regel !! Abfrage (vereinfacht) !! Bedingung !! Wartezeit !! Labels
|-
| Server nicht erreichbar || <code>up{job="node"}</code> || &lt; 1 (No Data = Alarm) || 2 min || severity=kritisch
|-
| Plattenplatz knapp || <code>node_filesystem_avail_bytes / node_filesystem_size_bytes * 100</code> || &lt; 10 || 15 min || severity=warnung
|-
| CPU dauerhaft hoch || <code>100 - avg by(instance)(rate(node_cpu_seconds_total{mode="idle"}[5m]))*100</code> || &gt; 90 || 15 min || severity=warnung
|-
| Schnittstelle down || <code>ifOperStatus{ifAlias=~"Uplink.*"}</code> || ≠ 1 || 2 min || team=netzwerk
|-
| Zertifikat läuft ab || <code>probe_ssl_earliest_cert_expiry - time()</code> (Blackbox Exporter) || &lt; 14 Tage || 1 h || severity=warnung
|-
| Fehlerflut im Log || <code>sum by(host)(count_over_time({job="journal"} &#124;= "error" [5m]))</code> || &gt; 100 || 5 min || severity=info
|}
* '''Zusammenfassung und Beschreibung''' (Annotationen) mit Platzhaltern füllen, z. B. <code><nowiki>{{ $labels.instance }}</nowiki></code> und <code><nowiki>{{ $values.A }}</nowiki></code>, dazu ein Link auf das passende Dashboard bzw. eine Anleitung.
* Regeln in Ordnern ablegen, die der Ordnerstruktur der Dashboards entsprechen – so greifen dieselben Rechte.

== Regeln gegen Alarmmüdigkeit ==
* '''Nur handlungsrelevante Alarme''': Jeder Alarm braucht jemanden, der etwas tun kann und soll. Alles andere gehört ins Dashboard.
* '''Wartezeiten''' und '''Erholungsschwellen''' großzügig wählen; kurze Spitzen sind selten Alarme wert.
* '''Schweregrade''' klar trennen: kritisch (sofort), Warnung (heute), Info (nur Bericht).
* '''Regelmäßig aufräumen''': Alarme, die immer ignoriert werden, ändern oder löschen.
* '''Grafana selbst überwachen''': Fällt Grafana aus, kommt kein Alarm. Einen externen Erreichbarkeitstest bzw. „Dead Man's Switch“ einrichten.

== Hinweise ==
* '''Alarme als Code''': Kontaktpunkte, Richtlinien und Regeln lassen sich per Provisioning-Dateien oder Terraform verwalten, siehe [[Grafana: Dashboards als Code mit Provisioning und Git Sync]]. Ältere Alertmanager-Konfigurations-APIs wurden in Grafana 13 eingeschränkt; Skripte auf die neuen <code>/apis/notifications.alerting.grafana.app</code>-Schnittstellen umstellen.
* '''Sicherheitsalarme''' (Anmeldeversuche, Malware, Angriffe) gehören in ein SIEM mit eigener Alarmierung und Bereitschaft.
* Bei Alarmierungskonzepten, Bereitschaft und überwachtem Betrieb unterstützt Sie das [https://www.max-it.de/it-services/managed-siem/ Managed SIEM von m.a.x. it].

== Siehe auch ==
* [[Grafana im Unternehmen]] – Überblick und alle Artikel der Reihe
* [[Grafana: Datenquellen und Dashboards erstellen]]
* [[Microsoft Teams]]
* [[Webhook]]

== Links und Quellen ==
* [https://grafana.com/docs/grafana/latest/alerting/ Grafana-Dokumentation: Alerting]
* [https://www.max-it.de/it-services/managed-siem/ Managed SIEM von m.a.x. it]

{{Uebermax}}
[[Kategorie:Server-Software]]