Foto zum Beitrag Warteschlangen für Lastspitzen planen
Foto von freestocks-photos auf Pixabay

APIs & Webhooks

Teil von API-Limits und Leistung

Warteschlangen für Lastspitzen planen

Eingang, zulässigen Abfluss, Aufbewahrung und Alter des Rückstands gemeinsam planen, bevor eine Queue Lastspitzen auffängt.

Dies ist ein redaktionelles Pseudonym der Publikation und keine Behauptung einer unabhängig verifizierten persönlichen Identität. Ursprüngliche redaktionelle Zuordnung: Desk Plattformen.

Warteschlangen als Puffer für Lastspitzen dimensionieren

Eine Warteschlange entkoppelt Ankunftsrate und Verarbeitungsrate: Nachrichten werden angenommen, auch wenn Consumer langsamer arbeiten, und später abgearbeitet. Vor der Wahl der Parameter sind vier Größen zu bestimmen: mittlere und maximale Ankunftsrate pro Sekunde, Bearbeitungsdauer einer Nachricht, Dauer der Spitze und zulässiger Rückstand.

Zwei Metriken machen den Rückstand sichtbar. ApproximateAgeOfOldestMessage gibt das Alter der ältesten unverarbeiteten Nachricht in Sekunden an und wird gemeldet, solange mindestens eine aktive Nachricht in der Queue liegt. ApproximateNumberOfMessagesDelayed zählt Nachrichten, die verzögert und damit nicht sofort abrufbar sind.

Queue-Parameter für Stoßzeiten festlegen

Der Visibility Timeout bestimmt, wie lange eine empfangene Nachricht für andere Consumer unsichtbar bleibt: 0 Sekunden bis 12 Stunden, Standard 30 Sekunden. Die Message Retention Period legt die Aufbewahrungsdauer fest: 1 Minute bis 14 Tage, Standard 4 Tage. Die Receive Message Wait Time reicht von 0 bis 20 Sekunden; 0 steht für Short Polling, jeder Wert ungleich null für Long Polling.

Der Delivery Delay verzögert die Zustellung einer neu hinzugefügten Nachricht, die Maximum Message Size begrenzt die Nachrichtengröße. Die Redrive Allow Policy legt fest, welche Quell-Queues diese Queue als Dead-Letter-Queue nutzen dürfen. In der Konsole gesetzter Visibility Timeout gilt für alle Nachrichten der Queue; für einzelne Nachrichten ist ein AWS SDK nötig.

Priorisierung von Queue-Parametern für Lastspitzenplanung

  1. Visibility TimeoutKritisch für Vermeidung von Doppelverarbeitung und sichere Verarbeitung langer Tasks
  2. Message Retention PeriodBestimmt, wie lange Nachrichten aufbewahrt werden – entscheidend für Fehlerrecovery und Compliance
  3. Receive Message Wait TimeLangzeit-Polling reduziert Kosten und Latenz; wichtig für effiziente Ressourcennutzung
  4. Delivery DelayNützlich zur Steuerung des Flows, z. B. bei geplantem Start von Prozessen

Sichtbarkeit und Wiederholungsversuche steuern

Beim Empfang bleibt die Nachricht in der Queue, wird aber für andere Consumer unsichtbar. Der Visibility Timeout verhindert so, dass mehrere Consumer dieselbe Nachricht gleichzeitig bearbeiten. Gelöscht wird manuell per DeleteMessage oder, in bestimmten AWS SDKs, automatisch nach erfolgreicher Verarbeitung. Wird die Nachricht nicht vor Ablauf des Timeouts gelöscht, wird sie wieder sichtbar und kann ein anderer Consumer abrufen.

Lange laufende Aufgaben lassen sich über einen programmatisch verlängerten Visibility Timeout absichern. Scheitert eine Aufgabe innerhalb des ursprünglichen Timeouts, kann der Timeout verlängert werden, damit die Nachricht unsichtbar bleibt und erneut verarbeitet wird, statt an einen zweiten Consumer zu gehen. Dauerhaft fehlschlagende Nachrichten fängt eine Dead-Letter-Queue auf.

Zum Löschen ist der ReceiptHandle der zuletzt empfangenen Nachricht zu verwenden, nicht die MessageId. Ein alter ReceiptHandle führt zu einer erfolgreichen Antwort, ohne dass die Nachricht sicher gelöscht wird. Bei Standard-Queues kann eine Nachricht in seltenen Fällen auch nach dem Löschen erneut zugestellt werden; die Anwendung sollte daher idempotent sein.

Visibility Timeout: Vorteile und Risiken im Überblick

  • Vorteil: Vermeidung von DoppelverarbeitungSorgt dafür, dass mehrere Consumer dieselbe Nachricht nicht gleichzeitig bearbeiten.
  • Nachteil: Falsche Zeitangabe führt zu unnötiger WiederholungWenn Timeout zu kurz ist, wird die Nachricht wieder sichtbar – auch wenn sie noch verarbeitet wird.
  • Vorteil: Unterstützung langer AufgabenDurch programmatische Verlängerung des Timeouts können langlaufende Prozesse sicher abgeschlossen werden.
  • Nachteil: Ressourcenblockade bei FehlschlägenFehlgeschlagene Nachrichten bleiben unsichtbar, bis Timeout abläuft – kann Backlog erhöhen.

Verlust und Duplikate bewusst abwägen

In Azure Service Bus bestimmt der Empfangsmodus die Garantie. Peek Lock liefert at-least-once: Die Nachricht wird gesperrt und erst nach dem Abschließen entfernt; scheitert der Consumer vorher, läuft die Sperre ab und die Nachricht wird erneut zugestellt, Duplikate sind möglich. Receive and Delete liefert at-most-once: Die Nachricht verschwindet sofort mit der Zustellung, Verlust ist möglich, wenn der Consumer vor der Verarbeitung ausfällt.

Peek Lock passt zu Workloads, bei denen Verlust nicht akzeptabel ist. Receive and Delete ist nur sinnvoll, wenn gelegentlicher Verlust zugunsten höheren Durchsatzes hingenommen wird. Wo Duplikate möglich sind, muss die Verarbeitung idempotent sein.

Scheinbar fehlende Nachrichten sind meist noch vorhanden und lassen sich an festen Stellen suchen. Zu prüfen ist die Dead-Letter-Queue mit der DeadLetterReason – etwa bei überschrittenem maximalem Zustellversuch, abgelaufener TTL bei aktiviertem Dead-Lettering oder fehlgeschlagener Subscription-Filterauswertung. Ebenfalls zu prüfen sind die Transfer-Dead-Letter-Queue der Quell-Entity bei Autoforward- oder Transfer-Queues, der TTL-Ablauf, ein anderer Receiver bei konkurrierenden Consumern und ein fehlender passender Subscription-Filter.

Empfangsmodi in Azure Service Bus: Verlust vs. Duplikate abwägen

  • Peek Lock (at-least-once)Sperre bei Empfang, Nachricht erst nach Abschluss gelöscht. Bei Consumer-Ausfall: erneute Zustellung möglich → Duplikate möglich. Kein Verlust.
  • Receive and Delete (at-most-once)Nachricht wird sofort gelöscht, sobald zugestellt. Bei Consumer-Ausfall vor Verarbeitung: Verlust möglich. Höherer Durchsatz, aber kein Wiederholungsansatz.

Dead-Letter-Queues und Poison Messages einplanen

Überschreitet eine Nachricht den maxReceiveCount, verschiebt SQS sie in die Dead-Letter-Queue. Beim Verschieben wird das Alter zurückgesetzt: ApproximateAgeOfOldestMessage der DLQ zeigt den Zeitpunkt der Verschiebung, nicht den ursprünglichen Sendezeitpunkt.

In FIFO-Queues blockiert eine fehlgeschlagene Nachricht ihre Message Group, bis sie gelöscht wird oder abläuft. Ist eine DLQ konfiguriert, wird sie nach Erreichen des Receive-Schwellenwerts dorthin verschoben. Poison-Pill-Nachrichten, die wiederholt empfangen und nie gelöscht werden, bleiben in ApproximateAgeOfOldestMessage unberücksichtigt, bis sie erfolgreich verarbeitet sind.

Bei Standard-Queues sortiert SQS eine Nachricht nach hinten, wenn sie dreimal oder öfter empfangen und nicht gelöscht wurde. Die Metrik zeigt dann das Alter der nächsten Nachricht, die den Receive-Schwellenwert nicht überschritten hat. Diese Umsortierung erfolgt auch bei konfigurierter Redrive-Policy.

Vorgehen bei fehlgeschlagener Nachricht: Von Retry bis Dead-Letter-Queue

  1. Maximaler Empfangsversuch erreichtNachricht wird automatisch in die DLQ verschoben, wenn maxReceiveCount überschritten ist.
  2. Altes Alter zurückgesetztDas Alter der Nachricht in der DLQ beginnt neu – zeigt Zeitpunkt der Verschiebung an, nicht den ursprünglichen Sendetermin.
  3. Poison-Pill-Nachricht blockiert Message GroupIn FIFO-Queues bleibt die Message Group gesperrt, solange die fehlerhafte Nachricht nicht gelöscht oder abgelaufen ist.
  4. Nachbearbeitung in DLQTechnische Analyse und manuelle Re-Processing der Nachrichten in der Dead-Letter-Queue.

Polling vermeiden, Requests serialisieren

Statt eine API regelmäßig abzufragen, sollten Webhook-Events abonniert werden; das hilft, das Rate Limit einzuhalten. Ist Polling unvermeidbar, nur so oft wie nötig und nach festem Zeitplan abfragen. Enthält eine Antwort den Header x-poll-interval, ist mindestens diese Anzahl Sekunden bis zur nächsten Abfrage desselben Endpunkts zu warten.

Authentifizierte konditionale Requests sorgen dafür, dass unveränderte Daten nicht gegen das primäre Rate Limit zählen. Nur die benötigten Daten anfordern und Antworten stabil halten, damit mehr Abfragen 304 Not Modified liefern. Authentifizierte Requests haben ein höheres primäres Rate Limit als nicht authentifizierte.

Gleichzeitige Requests sind zu vermeiden: Anfragen werden seriell statt parallel gesendet. Dazu lässt sich ein Queue-System für Requests implementieren.

Rate Limits und Fehlerbehandlung bei Lastspitzen

Bei einem Rate-Limit-Fehler sind Requests vorübergehend einzustellen. Ist der Header retry-after vorhanden, darf erst nach Ablauf dieser Sekunden erneut gesendet werden. Steht x-ratelimit-remaining auf 0, ist bis zum Zeitpunkt aus x-ratelimit-reset zu warten, der in UTC-Epoch-Sekunden angegeben wird. Sonst sind mindestens eine Minute Pause einzuhalten.

Scheitert ein Request weiter an einem Secondary Rate Limit, die Wartezeit zwischen den Wiederholungen exponentiell erhöhen und nach einer festen Anzahl Versuche einen Fehler auslösen. Werden trotz Rate Limit weitere Requests gesendet, kann die Integration gesperrt werden.

Bei vielen mutativen Requests – POST, PATCH, PUT oder DELETE – ist mindestens eine Sekunde zwischen zwei Requests zu warten, um Secondary Rate Limits zu vermeiden.

Monitoring und Nachjustieren im Lastbetrieb

Amazon SQS veröffentlicht Betriebsmetriken unter dem Namespace AWS/SQS. Dazu gehören auch die Kennzahlen zum Alter der ältesten unverarbeiteten Nachricht und zu verzögerten Nachrichten.

ApproximateNumberOfGroupsWithInflightMessages gibt es nur für FIFO-Queues; sie zählt Message Groups mit mindestens einer In-Flight-Nachricht, also einer Nachricht, die empfangen, aber noch nicht gelöscht oder abgelaufen ist. Hohe Werte sprechen für starke Parallelität. Bleibt der Wert bei großem Backlog niedrig, sind Consumer zu skalieren oder mehr aktive Message Groups zu nutzen.

Wegen der verteilten Architektur von Amazon SQS sind viele Werte näherungsweise, für die meisten operativen Entscheidungen aber genau genug. Metriken werden nur bei aktiver Queue gemeldet.

Wichtige SQS-Metriken für Lastspitzenüberwachung

  • ApproximateAgeOfOldestMessageAlter der ältesten unverarbeiteten Nachricht in Sekunden
  • ApproximateNumberOfMessagesDelayedAnzahl verzögerter Nachrichten (nicht sofort abrufbar)
  • ApproximateNumberOfGroupsWithInflightMessagesAnzahl Message Groups mit aktiven (empfangenen, nicht gelöschten) Nachrichten – nur bei FIFO-Queues

Mehr aus APIs & Webhooks

APIs & Webhooks

API-Limits und Leistung

API-Budgets, Parallelität, Rückstände und Ergebnisdauer gemeinsam planen: So bleiben automatisierte Abläufe auch bei Lastspitzen nachvollziehbar.