Anschreiben, die nach Ihnen klingen — nicht nach ChatGPT.

Sehr geehrte Damen und Herren,

Die Herausforderung, souveräne Sprachmodelle zuverlässig unter hoher Last mit niedriger Latenz und vorhersehbaren Kosten produktiv zu betreiben, ist genau die Aufgabe, bei der ich wirkliche Verbesserung bewirken kann. Bei Delivery Hero habe ich als leitender Entwickler des internen Triage-Assistenten ein hybrides Retrieval- und Serving-System gebaut, das die mediane Ticketzuordnungszeit von 4 Stunden 20 Minuten auf 1 Stunde 35 Minuten senkte und die Fehlerrate von 19 % auf 6 % reduzierte, während die Inferenzkosten durch spekulatives Decoding und dynamisches Batch-Routing zwischen einem selbst gehosteten vLLM und einer externen API um 47 % sanken.

Bei diesem Projekt war das Hauptproblem die Kombination aus heterogenen Daten, mehrsprachigen Inputs und dem Bedarf an kosteneffizienter, latenzsensitiver Inferenz. Ich entwarf eine hybride Retrieval-Pipeline mit BM25, pgvector und Cross-Encoder-Reranking über 1,4 Millionen historische Tickets, implementierte das Serving mit FastAPI auf Kubernetes und optimierte die Laufzeitkosten durch spekulative Decoding-Strategien sowie dynamische Routing-Entscheidungen zwischen lokalem und externem Inferenz. Ergebnis war eine spürbare Qualitätsverbesserung beim Routing, messbare Latenzsenkungen und eine klare Kostenreduktion, begleitet von einem Evaluations-Playbook für Offline-Benchmarks, A/B-Tests und Red-Team-Sicherheitstests, das das Team als Release-Kriterium einsetzt.

Mit freundlichen Grüßen, Alex Morgan

Sehr geehrte Damen und Herren,

Die Herausforderung, semantische Suche, mehrsprachige Inhalte und automatisierte Übersetzungs-Workflows in ein API-first Content-Produkt zu integrieren, verlangt robuste Retrieval-Pipelines und belastbare Evaluationen. Bei Delivery Hero habe ich als leitender Entwickler eines internen Triage-Assistenten genau an dieser Schnittstelle gearbeitet und ein hybrides Retrieval-System mit BM25, pgvector und Cross-Encoder-Reranking eingeführt, das die mediane Zuordnungszeit von 4 Stunden 20 Minuten auf 1 Stunde 35 Minuten verkürzte und die Fehlzuordnungsrate von 19 % auf 6 % senkte.

Für dieses Projekt gestaltete ich die End-to-end-Pipeline, die 1,4 Millionen historische Tickets und ein ausgedehntes Betriebshandbuch durchsuchbar machte. Das größte Problem war die Mischung aus kurzen, mehrsprachigen Anfragen und langen, heterogenen Referenzdokumenten. Ich kombinierte klassische BM25-Scoring mit Embeddings in pgvector und setzte ein Cross-Encoder-Reranking nur auf den engsten Kandidaten an, um Qualität und Kosten in Balance zu halten. Zusätzlich reduzierte ich die Inferenzkosten um 47 % durch spekulatives Decoding und ein dynamisches Batch-Routing zwischen selbstgehostetem Inferenz-Stack und einer externen API. Das Playbook zur Evaluation, das ich verfasst habe, umfasst Offline-Benchmarks, A/B-Tests und Red-Team-Sicherheitstests und wird teamweit als Release-Kriterium genutzt.

Mit freundlichen Grüßen, Alex Morgan