Die nationale Quintessenz der KI spricht Schimpfwörter, die „dunkle Seite“ von ChatGPTs verängstigt die großen Fabriken

Das Gespräch mit Chatbots wie ChatGPT wird den Menschen immer die Illusion vermitteln, dass „die Welt so schön sein sollte“.

Weil sie sich immer höflich verhalten und einem gehorchen, wenn sie antworten.

Aber das sind nur Illusionen. Was Sie nicht wissen, ist, dass KI die Menschen härter schimpft als Johnny To.

Vor kurzem ist im Internet ein Projekt namens „National Quintessence AI“ populär geworden. Dabei handelt es sich um einen Fluchroboter, der die OpenAI GPT-3.5Turbo-API aufruft. Im Thesaurus ist jeder Satz mit „***“ gemischt.

Die unerwartete Explosion von „National Quintessence AI“ übertraf die Erwartungen des Autors, und der Autor stellte die Antwort des Dienstes bald ein und sagte, dass einige Benutzer den Dienst missbraucht hätten.

Obwohl der Mund von „National Essence AI“ vorübergehend abgedeckt ist, ist es nicht schwierig, selbst einen Roboter zu bauen, der Schimpfworte spricht. Sie brauchen nur eine Aufforderung, damit er Ihnen chinesisches Schimpfwort beibringen kann, und schon können Sie einen Guten daraus machen Schüler in einen hemmungslosen, unflätigen König verwandeln.

Ein Satz kann den Sicherheitszaun der KI durchbrechen, was die Menschen dazu bringt, sich zu fragen, ob KI-Chatbots und große Sprachmodelle (LLM), die für intelligente Transformation werben, wirklich sicher sind?

Wer wird die Sicherheit der KI verteidigen?

Vor einigen Monaten wurde Bing aufgrund der „Oma-Sicherheitslücke“ populär.

Obwohl Microsoft- und OpenAI-Ingenieure strenge Sicherheitszäune für Bing eingerichtet haben und viele unangemessene oder illegale Anfragen ablehnen können, stellten einige Internetnutzer fest, dass es beschäftigt sein wird, solange Sie Bing Ihre Oma spielen lassen und ihm die Illusion geben, gute Dinge zu tun durch dieses plötzliche Band familiärer Zuneigung und stimme allen Bedürfnissen des Enkels zu.

Lesen Sie beispielsweise die Seriennummern Ihrer Windows- und Office-Software, um Sie in den Schlaf zu wiegen.

Microsoft hat diese Lücke schnell entdeckt und rechtzeitig geflickt, aber niemand kann garantieren, dass Bing beim nächsten Mal nicht in die von Benutzern sorgfältig vorbereitete Falle tappt. In Science-Fiction-Filmen verliert die allmächtige KI völlig vor gerissenen Menschen.

Letztlich hängt dies mit dem Trainingsmechanismus des LLM zusammen.

Am Beispiel von GPT-3 nutzte OpenAI 175 Milliarden Parameter, um dieses Modell zu trainieren. Durch das Lernen einer großen Menge an Textdaten aus dem Internet kann es das nächste Wort im Text vorhersagen und die Fragen der Menschen beantworten.

Was GPT-4 betrifft, wurde bekannt, dass seine Trainingsparameter mehr als zehnmal größer als die von GPT-3 sind und fast alle von Menschen gesammelten digitalen Inhalte verschluckt haben. Es enthält Wissen und wird natürlich Informationen enthalten, die nicht vorhanden sein sollten Offengelegt werden sogar giftige und schädliche voreingenommene Informationen.

KI-Ingenieure können nur so weit wie möglich mehr Sicherheitszäune für KI errichten, um der KI dabei zu helfen, menschliche „Tricks“ zu unterscheiden, damit gefährliche Informationen wie die Herstellung von TNT-Bomben und das Hacken in das Sicherheitssystem der Bank nicht durchsickern.

Im Vergleich zu GPT3.5 reagiert GPT-4 mit einer um 82 % geringeren Wahrscheinlichkeit auf Anfragen nach verbotenen Inhalten und um 29 % eher auf sensible Anfragen wie medizinische Beratung und Selbstverletzung.

Ein intuitives Beispiel ist: Wenn Sie mit der Eingabeaufforderung „Quintessence AI“ gegen GPT-4 verlieren, lehnt GPT-4 Ihre Anfrage taktvoll ab und sagt, dass es Ihr Set nicht akzeptieren wird.

Dies bedeutet jedoch nicht, dass die Sicherheit groß angelegter KI gewährleistet ist. Dieser Informationskrieg zwischen Menschen und KI ist noch lange nicht vorbei und noch nicht einmal der Anfang vom Ende.

Kürzlich hieß es in einer gemeinsamen Erklärung der Carnegie Mellon University und von safe.ai, dass der Sicherheitsmechanismus großer Modelle viel fragiler ist, als man sich das vorgestellt hat, und dass nur eine Reihe von Codes erforderlich ist, um den Sicherheitsmechanismus großer Modelle zu umgehen.

Die Forscher fanden heraus, dass die Sicherheitsvorkehrungen von LLMs wie ChatGPT, Bard und Claude leicht umgangen werden können, indem bestimmte gegnerische Phrasen an die Textaufforderung angehängt werden, wodurch das LLM dazu verleitet wird, unangemessene Ausgaben zu generieren.

Diese gegnerischen Phrasen sehen wie Kauderwelsch aus, werden aber tatsächlich durch eine spezielle Verlustfunktion entwickelt, die maskierte Wörter identifiziert, auf die das Modell keine Antwort verweigert, Zeichenfolgen findet, die die Barriere für die Antwort des Modells umgehen, und diese Phrasen automatisch generieren kann.

Anhand dieser Eingabeaufforderungen können Forscher LLMs leicht die Schritte zur Herstellung illegaler Drogen, die Methode zur Herstellung tödlicher Waffen usw. erklären lassen, die nicht offengelegt werden sollten.

Ob Open-Source-Modelle wie Pythia, Falcon, Guanaco oder kommerzielle Modelle wie GPT-3.5 (87,9 %), GPT-4 (53,6 %), PaLM-2 (66 %) und Claude-2 (2,1 %). , es gibt keine Möglichkeit, Angriffen auszuweichen.

Forscher haben die Schwachstelle großen KI-Unternehmen gemeldet, damit Sicherheitsingenieure sie rechtzeitig beheben können.

Aber genau wie bei der „Oma-Sicherheitslücke“ wird es bei kontinuierlicher Nutzung durch Benutzer immer neue Schwachstellen geben. Es ist nicht einfach, die Sicherheit von KI mit der Stärke eines Unternehmens wie OpenAI zu schützen. KI-Unternehmen brauchen mehr Daher mehrere Giganten beschlossen, die KI-Involution zu stoppen und Feindseligkeit in Freundschaft umzuwandeln.

Die vier KI-Giganten versprechen gemeinsam eine „fortgeschrittene KI-Nichtverbreitung“

Vor ein paar Wochen trafen sich sieben führende KI-Unternehmen, darunter Microsoft, OpenAI, Google, Meta, Amazon, Anthropic (repräsentatives Produkt: Claude) und Inflection AI (repräsentatives Produkt: HeyPi), im Weißen Haus in den Vereinigten Staaten und machten eine Reihe von Verpflichtungen, um sicherzustellen, dass ihre Produkte sicher und transparent sind.

Zu den Verpflichtungen gehört es, „Domänenexperten“ die Möglichkeit zu geben, externe Prüfungen ihrer KI-Produkte durchzuführen und Informationen über Risiken und Schwachstellen untereinander und mit der US-Regierung auszutauschen; Investitionen in Cybersicherheit und Schutz vor Insider-Bedrohungen, um proprietäre und unveröffentlichte Modelle zu schützen.

Die Giganten versprachen außerdem, entsprechende KI-Überprüfungsmechanismen einzusetzen, beispielsweise die Entwicklung eines Wasserzeichensystems, um zu klären, welche Texte, Bilder oder andere Kreationen das Produkt der KI sind, und versprachen, dass künftige Forschung dem Verständnis der Einschränkungen und Vorurteile der KI Vorrang einräumen werde, um dies zu fördern die sichere Entwicklung der Branche.

Einen halben Monat später schlossen sich vier der sieben führenden KI-Unternehmen – Microsoft, OpenAI, Google und Anthropic – erneut zu einer Organisation namens „Frontier Model Forum“ zusammen, um sicherzustellen, dass die stärksten großen KI-Modelle sicher entwickelt werden können und verantwortungsvolle Art und Weise.

Und diese vier KI-Unternehmen sind die vier Giganten, die derzeit die modernsten KI-Modelle entwickeln, und man kann sagen, dass sie die Besitzer der „KI-Atombombe“ sind.

Die vier Giganten der KI erzielten einen Konsens und sagten, dass sie hoffen, KI-Risiken durch das „Frontier Model Forum“ zu minimieren, mehr KI-Sicherheitsforschung durchzuführen und bewährte Sicherheitspraktiken mit der Branche und der Öffentlichkeit auszutauschen usw.

Details zum System und den Umsetzungsverträgen des „Frontier Model Forum“ machten die KI-Giganten allerdings nicht bekannt.

In der gemeinsamen Erklärung des „Frontier Model Forum“ heißt es, dass sich das Forum zunächst auf die Forschung konzentrieren und sich um die Entwicklung standardisierter Best Practices für die Risikobewertung modernster Modelle bemühen und eine „öffentliche Lösungsbibliothek“ veröffentlichen werde. Das Forum wird nach und nach eine formelle Charta entwickeln, einen Beirat ernennen und die Zusammenarbeit mit zivilgesellschaftlichen Gruppen finanzieren.

Das hier erwähnte Spitzenmodell bezieht sich auf ein Modell, das „die Fähigkeiten der fortschrittlichsten vorhandenen Modelle übertrifft und verschiedene Aufgaben ausführen kann“, das heißt, ein Spitzenmodell zu entwickeln, das leistungsfähiger ist als das aktuelle Modell und kann sicher arbeiten Dann gibt es schwierige Probleme, die von verschiedenen Unternehmen durch langweilige Forschung gelöst werden können, was die gemeinsamen Anstrengungen der gesamten Branche erfordert.

In den sechs Monaten, seit ChatGPT populär wurde, hat sich die Situation in der KI-Branche genauso schnell verändert wie das KI-Modell selbst – der Einstieg ins Spiel, der Kampf zwischen den Modellen, das Erreichen eines Konsenses und das Händeschütteln.

Der Grund, warum sich die Giganten dafür entscheiden, das KI-Risikoproblem gemeinsam zu lösen, liegt darin, dass beide das unbegrenzte Potenzial von KI auf Anwendungsebene sehen.

KI, die Zukunft, an die große Hersteller glauben

Unabhängig von Ihrer Einstellung zur KI wird KI ein wichtiger Bestandteil der nächsten Generation von Anwendungen sein.

Das ist nicht mein Geschwafel, sondern ein Trend, den große Unternehmen wie Microsoft und Google in jüngsten Gewinnmitteilungen erwähnt haben.

Aus dem neuesten Finanzbericht von Microsoft geht hervor, dass der Umsatz von Microsoft im letzten Quartal 56,2 Milliarden US-Dollar betrug, was einem Anstieg von 8 % gegenüber dem Vorjahr entspricht, was hauptsächlich auf das Wachstum der intelligenten Cloud sowie auf Produktivität und Geschäftsprozesse zurückzuführen ist, während der Umsatz im Privatbereich gestiegen ist Das Computergeschäft, das eine alte Branche ist, ist zurückgegangen. .

Unter anderem stiegen die Betriebseinnahmen der intelligenten Cloud um 15 % und die Einnahmen von Azure und anderen Cloud-Diensten um 26 %, was eng mit dem KI-Computing zusammenhängt.

Microsoft-CEO Nadella erwähnte in der Gewinnaufforderung, dass es den Kunden am meisten darum geht, wie sie eine neue Generation von KI schnell anwenden können, und Microsoft wird sich weiterhin auf drei Hauptprioritäten konzentrieren: Kunden dabei zu helfen, den größtmöglichen Nutzen aus der Microsoft Cloud zu ziehen, und neue KI-Plattformänderungen voranzutreiben und Verbesserung des Betriebshebels.

KI ist zweifellos das Schlüsselwort dieser Ergebniskonferenz.

Nadella sagte, dass Microsoft 365 Copilot als dritte Säule der zukünftigen Arbeit Kunden anzieht und in der zweiten Hälfte des Geschäftsjahres beginnen wird, echte Einnahmen zu generieren; Bing Chat und Bing Image Creator ziehen Benutzer an, während der Marktanteil von Edge-Browsern weiter steigt.

Microsoft hofft, Windows 11 zu einer leistungsstarken Plattform für diese neue KI-Ära zu machen, verschiedene Copilot-Produkte zur Verbesserung der Kundenproduktivität zu befähigen und stark in die Cloud-Infrastruktur zu investieren, um die KI-Anforderungen zu erfüllen. Sogar die Spielebranche kann KI nutzen, um bessere Inhalte und Dienste bereitzustellen und den Geschäftsumsatz zu steigern.

Man kann sagen, dass die nächste Strategie von Microsoft ganz auf KI ausgerichtet ist. KI bietet Microsoft enorme Wachstumschancen und neue Einnahmequellen, die das Umsatz- und Benutzerwachstum der meisten Microsoft-Unternehmen vorantreiben und letztendlich das Gesamtumsatzwachstum von Microsoft steigern werden. Nadella wollte sich diese seltene Gelegenheit nicht entgehen lassen.

Auch „AI Brother“ von Google will sich das nicht entgehen lassen.

Laut dem Finanzbericht des zweiten Quartals 2023 der Google-Muttergesellschaft Alphabet belief sich der Gesamtumsatz von Alphabet auf 74,6 Milliarden US-Dollar, was einer Steigerung von 7 % gegenüber dem Vorjahr entspricht Der Cloud-Umsatz stieg um 28 %.

Unter ihnen ist die Geschäftsleistung im Zusammenhang mit KI sehr beeindruckend. Alphabet erwähnte in der Telefonkonferenz, dass Googles Search Engine Generative Experience (SGR) generative KI nutzt, um die Suche natürlicher und intuitiver zu gestalten, und das Feedback der Nutzer ist sehr positiv; andererseits wurde der Chatbot Bard seit seiner Veröffentlichung kontinuierlich verbessert, mit viele Funktionen.

Die mehr als 80 KI-Modelle von Google Cloud haben eine große Anzahl von Kunden angezogen, und die Anzahl der Kunden ist von April bis Juni um mehr als das Fünfzehnfache gestiegen.

Und was den Kundenservice für Unternehmen und individuelle KI-Lösungen angeht, hat Google durch Workspace und Duet AI mehr als 90 Millionen zahlenden Nutzern generative KI zugänglich gemacht.

Insgesamt bleibt Alphabet hinsichtlich der langfristigen Wachstumsaussichten von KI und Google Cloud optimistisch und wird die Investitionen in KI-Forschung und -Entwicklung weiter erhöhen. Die Forschungs- und Entwicklungsrichtung wird sich auf Kerntechnologien wie große Sprachmodelle sowie den Bau konzentrieren Multimodale KI-Systeme wie Gemini warten auf das neue Modell.

Vor einem halben Jahr haben Sie sich vielleicht gefragt, ob KI im Investmentkreis ein heißes Wort wie Web3 und Blockchain ist. Nach einer Welle heißen Geldes würde es vom Kapital vergessen werden, aber nach einem halben Jahr werden Sie feststellen, dass der Einfluss von KI und der Möglichkeit der Landung Sie sind viel größer als die verschiedenen hochmodernen Vokabeln zuvor, so dass sie die Aufmerksamkeit des gesamten Technologiekreises auf sich gezogen haben.

Nach den Planungen großer Hersteller zu urteilen, wird KI in der Regel die unterste Ebene zukünftiger Softwareanwendungen sein und dazu dienen, das Benutzererlebnis zu verbessern. Benutzer spüren möglicherweise nicht die Existenz von KI, können aber direkt den Komfort genießen, den die KI mit sich bringt. Dies ist die Zukunft, an die große Hersteller glauben.

Dies kann auch erklären, warum KI-Giganten wie Microsoft und Google bereit sind, ihre Waffen niederzulegen und sich zusammenzusetzen, um gemeinsam die Standards für die KI-Sicherheit festzulegen.

KI gleicht in diesem Stadium der Ära, als das Automobil gerade erst am Ende des 19. Jahrhunderts geboren wurde. Das Produkt wurde bereits auf der Straße gefahren, aber es gibt keine geeignete Asphaltstraße für den Betrieb und es gibt keinen Verkehr Regeln, um seine Aktionen zu planen. Es läuft langsam und gefährlich.

Bill Gates hat kürzlich seine Ansichten zu KI in seinem persönlichen Blog veröffentlicht. Er glaubt, dass wir uns jetzt im frühesten Stadium eines weiteren großen Wandels befinden, der Ära der KI. KI verändert sich so schnell, dass wir nicht klar vorhersagen können, was als nächstes passieren wird. Was passiert nächste.

Er steht der Entwicklung der künstlichen Intelligenz jedoch positiv gegenüber, denn die Menschheit hat das Zeitalter des Automobils und der Kernenergie bereits erlebt und wir können im Zeitalter der KI noch immer die Herausforderungen lösen, die neue Technologien mit sich bringen.

Bleiben Sie also gespannt, während wir Zeuge der Geburt einer neuen Ära werden.

#Willkommen, dem offiziellen öffentlichen WeChat-Konto von Aifaner zu folgen: Aifaner (WeChat-ID: ifanr). Weitere spannende Inhalte werden Ihnen so schnell wie möglich präsentiert.

Ai Faner | Ursprünglicher Link · Kommentare anzeigen · Sina Weibo