Gleiche KI, neues Zuhause: Die feinen Unterschiede zwischen der OpenAI API und Azure AI Foundry

KI-Modelle sind längst im Alltag angekommen und die Zahl der Anbieter wächst stetig. Ob bessere Integration, neue Funktionen oder attraktivere Konditionen: Es kann viele Gründe geben, den KI-Anbieter zu wechseln. Auf den ersten Blick scheint der Umstieg simpel: Einfach die Schnittstelle austauschen und das gleiche Modell weiternutzen. Doch bei der Migration einer Anwendung von der OpenAI API zu Azure AI Foundry (mit GPT-4o) haben wir gemerkt: Der Teufel steckt oft im Detail. In diesem Artikel teilen wir unsere wichtigsten Erkenntnisse und die feinen, aber entscheidenden Unterschiede. 

Von OpenAI zu Azure: Wo unsere KI jetzt zu Hause ist

Nach längerer Zeit mit der OpenAI API haben wir uns dazu entschieden, einer unserer Anwendungen ein neues Zuhause zu geben und in die Azure AI Foundry umzuziehen. Dabei setzen wir weiterhin auf das bewährte Modell GPT-4o, das nun statt über OpenAI, über die Azure-Plattform läuft. Die Plattform bietet nicht nur die bekannten GPT-Modelle von OpenAI, sondern eröffnet auch die Möglichkeit Sprachmodelle anderer Anbieter wie Meta, Mistral oder DeepSeek direkt als Endpunkte bereitzustellen. Besonders praktisch: Die Integration in bestehende Azure-Dienste vereinfacht das Management deutlich. 

Content-Filter: Zwischen Schutzmechanismus und Stolperfalle

Ein Punkt, der bei Azure schnell ins Auge fällt, ist der integrierte Content-Filter. Anders als bei OpenAI, wo standardmäßig kein Filter aktiv ist (aber auf Wunsch ebenfalls aktiviert werden kann), prüft Azure jede Anfrage automatisch und entscheidet, ob eine Antwort ausgegeben werden darf. Die Sensitivität dieses Filters lässt sich anpassen, komplett abschalten lässt er sich allerdings nicht. Wichtig ist dabei: Für die Nutzung des Content-Filters selbst fallen separate Kosten an.

Für uns bedeutete das: Ab und zu erhielten wir auf Anfragen keine Antwort – und mussten erst herausfinden, dass es nicht an einem Fehler in unserer Anwendung lag, sondern am Filter, der im Hintergrund still seine Arbeit verrichtete. Besonders deutlich wurde das beim Testdatensatz unserer Anwendung: Hier haben wir gezielt sensible Anfragen eingebaut, um zu evaluieren, wie unser Tool mit solchen Fällen umgeht. In diesen Situationen kam es immer wieder vor, dass der Content-Filter Anfragen blockierte, die wir bewusst zur Evaluierung vorgesehen hatten. Das erschwerte die Vergleichbarkeit unserer Benchmarks und führte teilweise zu überraschenden Ergebnissen.

Der Content-Filter bietet natürlich auch Vorteile: Er unterstützt die Einhaltung von Richtlinien und hilft, problematische Inhalte zu vermeiden. Dies ist ein wichtiger Faktor, besonders wenn Unternehmen KI-Anwendungen für ihre Kund:innen bereitstellen. 

„Temperature“-Rätsel: Wenn 0.0 nicht gleich 0.0 ist

Ein echtes Aha-Erlebnis gab es beim Feintuning der „Temperature“-Einstellung – jenem Parameter, der beeinflusst, wie kreativ oder vorhersehbar ein KI-Modell antwortet. Für unsere Anwendung war es wichtig, möglichst konstante und nachvollziehbare Ausgaben zu erhalten. Entsprechend stellten wir die „Temperature“ bei OpenAI konsequent auf 0.0 ein und konnten damit sehr zuverlässige, nahezu identische Antworten auf gleiche Prompts erzielen. Zwar ist auch bei OpenAI eine hundertprozentige Wiederholbarkeit nicht garantiert, doch in der Praxis waren die Unterschiede nur geringfügig.

Nach dem Umstieg auf Azure AI Foundry fiel uns jedoch schnell auf, dass bei identischen Prompts plötzlich wieder mehr Variation in den Antworten auftauchte, obwohl weiterhin die „Temperature“ auf 0.0 gesetzt wurde. Zunächst lag der Verdacht nahe, dass der Modellaufruf nicht korrekt war. Dieser entsprach allerdings der Dokumentation. Doch ein genauer Blick in die Logging-Ausgaben unserer Anwendung brachte die eigentliche Ursache ans Licht: Der „Temperature“-Parameter tauchte in den Requests an Azure überhaupt nicht mehr auf.

Entscheidend ist dabei: Dieses Verhalten betrifft nur die Nutzung über das Python-Paket langchain-azure-ai (z. B. mit AzureAIChatCompletionsModel). Wer direkt mit der Azure-API arbeitet, kann weiterhin wie gewohnt nahezu deterministische Ausgaben mit einer „Temperature“ von 0.0 erzielen.

Im Code des Pakets wird nämlich der Wert von „Temperature“ mit folgender Bedingung geprüft: 

if self.temperature:
    params["temperature"] = self.temperature 

Da in Python der Wert 0.0 als „False“ gilt, wird der Parameter in diesem Fall nicht an Azure übergeben. Stattdessen wird standardmäßig für „Temperature“ der Wert 1.0 verwendet, wodurch die Antworten variabler ausfallen. Die Einstellung wird erst wirksam, wenn ein Wert größer als 0.0 übergeben wird (z. B. temperature=0.01). 

Konsistenz? Nicht immer gleich

Auch jenseits von „Temperature“ und Content-Filter sind uns kleine Unterschiede in den Antworten aufgefallen. Selbst bei identischen Einstellungen und Prompts formuliert Azure die Ausgaben manchmal anders als OpenAI. Dieses Phänomen ist nicht exklusiv für Azure, sondern tritt auch bei anderen Multi-Anbieter-Plattformen auf, wie etwa OpenRouter, wo verschiedene Betreiber die gleichen Modelle hosten. Die Gründe liegen oft im Detail: Unterschiedliche Hardware, minimale Abweichungen in der Modell-Version oder in der Art, wie Anfragen verarbeitet werden.

Für die meisten Anwendungen ist das kein Problem. Wer jedoch eine Migration plant, sollte im Hinterkopf behalten, dass sich das Modellverhalten geringfügig ändern kann. 

Fazit: Neue Plattform, neue Möglichkeiten – und kleine Eigenheiten

Die Migration von der OpenAI API zu Azure AI Foundry ist technisch gut umsetzbar und eröffnet neue Möglichkeiten rund um Verwaltung, Modellauswahl und Integration ins Azure-Ökosystem. Wer sich frühzeitig mit Unterschieden wie Content-Filter, „Temperature“-Parameter und Antwortkonsistenz auseinandersetzt, erlebt im Alltag keine bösen Überraschungen. Wer die kleinen, aber entscheidenden Unterschiede kennt, kann den Wechsel nicht nur reibungslos gestalten, sondern auch gezielt von den neuen Möglichkeiten profitieren.

Ihr plant eine Migration oder habt Fragen zu KI-Infrastruktur und der Azure AI Foundry? Sprecht uns gerne an, wir unterstützen euch mit unserem Know-how! 

Seminarempfehlung