Um zu verstehen, wie KI-basierte Suchmaschinen funktionieren und welche Merkmale diese Systeme besitzen, wird im Folgenden die Interaktion mit den beiden öffentlich zugänglichen KI-basierten Suchmaschinen Bing Chat und Google Bard untersucht. Dazu wurden mehrere Anfragen an die Systeme gerichtet und die Dauer bis zur vollständigen Antwort sowie deren Umfang gemessen.
Versuchsaufbau und -durchführung
Um die Antwortzeiten von Bing Chat und Google Bard zu messen, wurden an beide Systeme jeweils die gleichen zwanzig Anfragen gestellt. Während des Versuchs wurde ein Bildschirmvideo aufgenommen und im Nachhinein analysiert, um die Dauer zur Generierung der Antwort zu messen. Der Startpunkt der Zeitmessung beginnt mit dem Betätigen der „Enter“-Taste, also dem Senden der Anfrage, und endet, sobald die Antwort des KI-Systems, inklusive eventueller Quellen, vollständig dargestellt wird.
Da Google Bard zum Zeitpunkt des Experiments ausschließlich in den USA und Großbritannien verfügbar war, wurde ein VPN verwendet, um die Suchmaschinen nutzen zu können. Um Verfälschungen durch den VPN bei Ladezeiten zwischen Google Bard und Bing Chat zu minimieren, wurde für beide Systeme dieselbe VPN-Verbindung genutzt.
Zudem ist zu berücksichtigen, dass Google Bard zum Zeitpunkt des Experiments nur auf Englisch verfügbar war und nicht auf Deutsch antwortet. Deshalb wurden ausschließlich englische Eingaben untersucht.
Da Bing Chat auf GPT-4 beruht, ist es hilfreich für GPT-4 und die Vorgängerversion GPT-3.5 ebenfalls Daten zu sammeln. Um diese Systeme zu untersuchen, wurde der Versuch ebenfalls für ChatGPT V4 und ChatGPT V3.5 durchgeführt, welche die jeweilige GPT Version nutzen.
Rückschlüsse
In dem Experiment zeigte sich, dass Google Bard deutlich schnellere und längere Antworten liefern kann als Bing Chat, ChatGPT v3.5 und ChatGPT v4. Außerdem wurde ersichtlich, dass Bing Chat bei Antworten oftmals eine Suchanfrage stellt, was sich negativ auf die Antwortdauer der KI-basierten Suchmaschine auswirkt. Darüber hinaus konnte durch die Analyse und den Vergleich der Antwortzeiten festgestellt werden, dass Google Bard höchstwahrscheinlich keine Suchanfragen an Index-basierte Suchmaschinen im Hintergrund richtet.
Zusätzlich zeigt sich, dass Google Bard erheblich ausführlichere Antworten liefert als Bing Chat. Obwohl Bing Chat auf dem GPT-4 Modell aufbaut, unterscheiden sich der Antwortumfang sowie die Antwortzeit deutlich. Letzteres ist auf die Suchanfragen zurückzuführen, die Bing Chat durchführt, um auf aktuelle Inhalte zugreifen zu können.