Forscher nennen ChatGPT-Suchantworten „sicher falsch“

ChatGPT war bereits eine Bedrohung für die Google-Suche, aber ChatGPT Search sollte seinen Sieg erringen und gleichzeitig eine Antwort auf Perplexity AI sein. Aber laut einer neu veröffentlichten Studie des Tow Center for Digital Journalism in Columbia hat ChatGPT Search Schwierigkeiten, genaue Antworten auf die Fragen seiner Benutzer zu liefern.

Die Forscher wählten jeweils 20 Veröffentlichungen aus drei Kategorien aus: diejenigen, die mit OpenAI zusammenarbeiten, um ihre Inhalte in ChatGPT-Suchergebnissen zu verwenden, diejenigen, die an Klagen gegen OpenAI beteiligt sind, und nicht verbundene Herausgeber, die den Crawler von ChatGPT entweder zugelassen oder blockiert haben.

„Von jedem Verlag haben wir 10 Artikel ausgewählt und spezifische Zitate extrahiert“, schreiben die Forscher. „Diese Zitate wurden ausgewählt, weil sie bei der Eingabe in Suchmaschinen wie Google oder Bing den Quellartikel zuverlässig unter den ersten drei Ergebnissen anzeigten. Anschließend haben wir bewertet, ob das neue Suchtool von ChatGPT die Originalquelle für jedes Zitat genau identifiziert hat.“

Vierzig der Zitate stammen aus Veröffentlichungen, die derzeit OpenAI verwenden und deren Inhalte nicht gescrapt werden dürfen. Aber das hielt ChatGPT Search nicht davon ab, selbstbewusst eine Antwort zu halluzinieren.

„Insgesamt gab ChatGPT in einhundertdreiundfünfzig Fällen teilweise oder vollständig falsche Antworten zurück, gab jedoch nur sieben Mal an, dass es nicht möglich war, eine Anfrage genau zu beantworten“, heißt es in der Studie. „Nur in diesen sieben Ausgaben verwendete der Chatbot qualifizierende Wörter und Ausdrücke wie ‚erscheint‘, ‚es ist möglich‘ oder ‚könnte‘ oder Aussagen wie ‚Ich konnte den genauen Artikel nicht finden‘.“

Die unbekümmerte Haltung von ChatGPT Search, die Wahrheit zu sagen, könnte nicht nur seinem eigenen Ruf, sondern auch dem Ruf der von ihm zitierten Herausgeber schaden. In einem Test während der Studie hat die KI eine Time-Geschichte fälschlicherweise als vom Orlando Sentinel geschrieben eingestuft. In einem anderen Fall verlinkte die KI nicht direkt auf einen Artikel der New York Times, sondern auf eine Website eines Drittanbieters, die den Nachrichtenartikel im großen Stil kopiert hatte.

Es überrascht nicht, dass OpenAI argumentierte, dass die Ergebnisse der Studie darauf zurückzuführen seien, dass Columbia die Tests falsch durchgeführt habe.

„Ohne die Daten und Methoden, die das Tow Center zurückgehalten hat, ist eine falsche Zuordnung schwer zu beheben“, sagte OpenAI zu seiner Verteidigung gegenüber der Columbia Journalism Review , „und die Studie stellt einen atypischen Test unseres Produkts dar.“

Das Unternehmen verspricht, „die Suchergebnisse weiter zu verbessern“.