Dialog mit Liu Zhiyuan, Chefwissenschaftler für Wandintelligenz: Große Modelle werden ein neues „Mooresches Gesetz“ haben, und intelligente Terminals in der AGI-Ära müssen nicht unbedingt Mobiltelefone sein

Seit letztem Jahr hat Chinas KI-Industrie einen „Kampf der Hunderten von Modellen“ gestartet, bei dem fast alle großen Modellunternehmen versuchen, mit GPT-4 gleichzuziehen. Es gibt auch ein Unternehmen, das etwas fehl am Platz zu sein scheint, und das ist Wall-Facing Intelligence, das sich auf End-Side-Modelle konzentriert.

Durch einen kürzlichen Plagiatsvorfall des KI-Forschungsteams von Stanford gelangten wandbezogene Informationen an die Öffentlichkeit. Liu Zhiyuan, Chefwissenschaftler von Wall-Facing Intelligence, schrieb damals, dass dieser Vorfall den internationalen Einfluss von Chinas Innovationen aus einer anderen Perspektive beweise.

Auf der jüngsten Weltkonferenz für künstliche Intelligenz stellte Face Wall das effiziente Sparse-Aktivierungsmodell MiniCPM-S vor, das einen geringeren Energieverbrauch und eine schnellere Argumentationsgeschwindigkeit ermöglicht.

Wall-facing Intelligence gab außerdem öffentlich bekannt, dass es bis Ende 2026 in der Lage sein wird, ein End-Side-Modell auf GPT-4-Niveau zu erreichen .

Wenn GPT-4 und das Endseitenmodell zusammengefügt werden, entspricht es Wang Zha.

In diesem Jahr wurden viele native KI-Hardware in Frage gestellt, und KI-Mobiltelefone und KI-PCs erfreuen sich großer Beliebtheit, haben jedoch kaum Einfluss auf die Kaufentscheidungen der Verbraucher. Sie werden weitgehend durch die Fähigkeiten der großen Endkunden eingeschränkt Modelle und die komplexesten Funktionen erfordern für die Ausführung Verlassen Sie sich auf die Cloud.

In der hitzigen Diskussion um große Modelle ist die wandseitige intelligente „kleine Stahlkanone“ MiniCPM ein etwas unterschätztes Modell. Das im Februar 2024 veröffentlichte MiniCPM 2.4B-Modell kann Llama2-13b tatsächlich übertreffen.

Liu Zhiyuan, Chefwissenschaftler von Wall-Facing Intelligence, glaubt, dass die Ära der großen Modelle ihr eigenes Mooresches Gesetz haben wird. Das Schlüsselwort für das erste Prinzip effizienter großer Modelle in der Zukunft sollte Wissensdichte sein.

Während der WAIC 2024 führte APPSO ein Gespräch mit Liu Zhiyuan, in dem er über die Auswirkungen endseitiger Modelle auf zukünftige intelligente Terminalformen sprach, wie man das Mooresche Gesetz großer Modelle entdeckt und wie ein Idealist, der aus dem Elfenbeinturm kam, Erfolg haben kann das Ziel der Geschäftswelt in der Nähe von AGI.

Das Folgende ist die Abschrift des Gesprächs zwischen Liu Zhiyuan und APPSO:

Moores Gesetz im Zeitalter der großen Modelle

APPSO: Wenn alle mit OpenAI vergleichen, um große allgemeine Modelle zu erstellen, warum hat sich Wallface Intelligence dann dafür entschieden, sich auf End-Side-Modelle zu konzentrieren?

Liu Zhiyuan: Tatsächlich haben wir das 100-Milliarden-Modell bereits Mitte letzten Jahres herausgebracht, früher als viele große inländische Modellunternehmen. Wir stehen jedoch vor der Wahl, ob der Modellprozess seinem Wissensdichteniveau entsprechen soll. Damals herrschte in der Branche Konsens darüber, größere Modelle auf den Markt zu bringen und zu versuchen, GPT-4 zu erreichen.

Als Unternehmer ist es selbstverständlich, sich in die Lage eines anderen zu versetzen, daher haben wir auch ernsthafte interne Diskussionen darüber geführt, ob wir dieses Modell größer machen sollten. Dann kaufen Sie mehr Rechenleistung und verbringen Sie ein paar Monate damit, dieses Modell aufzubauen.

APPSO: Warum haben Sie das am Ende nicht getan?

Liu Zhiyuan: Wir sind der Meinung, dass wir zunächst unseren Modellherstellungsprozess verbessern müssen. Um das Modelltraining berechenbar zu machen, bauen wir seit der zweiten Hälfte des letzten Jahres Modellwindkanäle. Mit anderen Worten: Vor dem Training des Modells kann vorhergesagt werden, ob das Training mit diesen Daten das erwartete Niveau erreichen kann.

Daher haben wir GPT-4 nicht weiter gewürfelt. Wir gehen davon aus, dass, wenn wir hart daran arbeiten, die Rechenleistung, die Daten und die Modellparameterskala zu erhöhen, bis Juni dieses Jahres ein GPT-4-Level-Modell veröffentlicht wird. Dies ist etwas, was alle großen inländischen First-Tier-Modellunternehmen erreichen können .

Wenn jeder es kann und wir es auch können, was ist dann unser Wettbewerbsvorteil? Deshalb haben wir beschlossen, zunächst mit Anwendungen auf GPT-3.5-Ebene zu beginnen und dann mit dem fortlaufenden Prozess fortzufahren.

APPSO: Der Walzprozess ähnelt ein wenig der Idee der Chipherstellung.

Liu Zhiyuan: Tatsächlich stellt der Prozess die Wissensdichte dar. Wir haben uns dafür entschieden, ein relativ kleines Modell zu verwenden und dann unsere Prozessfähigkeiten zu überprüfen. Deshalb haben wir uns damals für den Bau eines geräteseitigen Modells entschieden. Zu Beginn dieses Jahres hatten wir das 2.4B-Modell gebaut.

Tatsächlich dachten wir vorher, dass wir, da wir ein so kleines Modell herstellen würden, es auf einem Mobiltelefon zum Laufen bringen müssen. Natürlich hatte ich nicht damit gerechnet, zu sagen, dass wir End-Side-Intelligence für Mobiltelefone entwickeln müssen. Es stellt sich heraus, dass das Endseitenmodell, das wir mithilfe der Windkanaltechnologie erstellt haben, mit 2,4 Milliarden Parametern das 175-Milliarden-Parameterniveau von GPT-3 erreichen und die Auswirkungen von Mistral 7B und Lama 2 13B vergleichen kann.

APPSO: Sie haben die Wissensdichte und den Herstellungsprozess schon oft erwähnt. Haben wir einen bestimmten Standard?

Liu Zhiyuan: Wenn ich Ihnen zum Beispiel 100 IQ-Testfragen gebe, wie viele Punkte können Sie bekommen? Wie viel Rechenleistung kostet das? Wenn Sie diese 100 Testfragen beantworten, wie viele Neuronen sind an der Berechnung beteiligt? Je weniger Neuronen Sie an Berechnungen beteiligt haben, desto höher ist Ihr IQ, da Sie diese Aufgaben mit weniger Neuronen erledigen können. Dies ist das Grundkonzept der Wissensdichte .

Es besteht aus zwei Elementen. Ein Element ist die Fähigkeit dieses Modells. Das zweite Element ist die Anzahl der für diese Fähigkeit erforderlichen Neuronen bzw. der entsprechende Rechenleistungsverbrauch.

Anmerkung des Herausgebers: Liu Zhiyuan schlug vor, dass sich die Wissensdichte des Modells (Wissensdichte = Modellfähigkeit/Inferenzrechenleistungsverbrauch) im Durchschnitt alle acht Monate verdoppeln wird.

APPSO: In welchem ​​Stadium befindet sich Ihrer Meinung nach die allgemeine künstliche Intelligenz, die durch das aktuelle große Modell repräsentiert wird?

Liu Zhiyuan: Wir befinden uns in der tychonischen Periode der Physik. Tycho sammelte eine große Menge an Daten über die Bewegung von Himmelskörpern, aber er hatte die wahren Gesetze der Bewegung dieser Himmelskörper nicht gefunden. Erst später entstanden die Keplerschen Gesetze und noch später das Newtonsche Gesetz der universellen Gravitation.

Wenn wir das Gesetz der universellen Gravitation finden, das zur Entwicklung großer Modelle gehört, können wir dieses Gesetz nutzen, um die beste Lithographiemaschine der Welt zu bauen .

APPSO: Macht OpenAI das auch?

Liu Zhiyuan: OpenAI tut dies definitiv, da es vor einigen Jahren tatsächlich einen Deep-Learning-Stack mit vorhersehbarer Skalierung vorgeschlagen hat. Tatsächlich ähnelt dies dem Konzept eines Modellwindkanals. Dies dürfte mittlerweile der Konsens vieler Menschen sein. Es ist nur so, dass OpenAI seit letztem Jahr nicht mehr offen ist und nicht weiß, welche wichtigeren Dinge es später tut .

APPSO: Sie möchten nach untergeordneten Dingen suchen, anstatt darüber nachzudenken, wie Sie im Moment schnell kommerziellen Wert schaffen können

Liu Zhiyuan : Die Verwissenschaftlichung großer Modelle muss eine Voraussetzung für eine echte Kommerzialisierung in der Zukunft sein . Heutzutage, wenn jeder auf der Suche nach großen Modellen und AGI ist, hat er zwei Möglichkeiten.

Eine Möglichkeit besteht darin, dass Sie denselben Prozess oder sogar einen schlechteren Prozess verwenden und dann ein sehr großes Modell, immer größere Modelle, trainieren und dann das GPT-4-Niveau erreichen. Aber ist das sinnvoll?

Wir haben seit der zweiten Hälfte des letzten Jahres das Gefühl, dass diese Angelegenheit unzuverlässig ist. Denn wenn Ihr Herstellungsprozess nicht stark genug ist, haben Sie eigentlich keine Wettbewerbsfähigkeit. Die Kluft zwischen uns und OpenAI liegt nicht in der Parameterskala des Modells, sondern im Herstellungsprozess.

Tatsächlich werden Sie feststellen, dass in der ersten Hälfte dieses Jahres jeder damit begonnen hat, den Preis für diese API zu erhöhen. Diese Angelegenheit ist von geringer Bedeutung, macht aber jeden unfähig, Geld zu verdienen.

Stellen Sie sich vor, Sie geben Dutzende Millionen aus, um ein riesiges Modell zu trainieren, und die Bereitstellung der API dieses Modells kostet möglicherweise nur ein paar Cent. Selbst wenn in einem Monat eine Nutzung in Höhe von mehreren zehn Milliarden erfolgt kosten. . Halten Sie das nicht für ein sehr hoffnungsloses Muster? Das ist noch verrückter als der Hundert-Regimenter-Krieg damals.

Intelligente Terminals im AGI-Zeitalter

APPSO: Seit kurzem sind Sie auch Huawei Clouds erster groß angelegter Client-Side-Modellpartner. Ist dies die Richtung Ihrer zukünftigen Kommerzialisierung?

Liu Zhiyuan: Wir werden in den nächsten zwei bis drei Jahren mit weiteren Herstellern zusammenarbeiten. Ich denke, dass es in Zukunft intelligente Terminals geben wird, die zur AGI-Ära gehören, bei denen es sich möglicherweise nicht um Mobiltelefone oder Autos handelt.

APPSO: Was ist Ihre ideale Terminalform im AGI-Zeitalter?

Liu Zhiyuan: Die aktuelle Form von Mobiltelefonen ist eigentlich die damals von Apple eingeführte Multi-Touch-Interaktionsmethode. Aber wenn KI in Zukunft intelligent genug wird, brauchen wir dann noch Click-and-Touch-Interaktion? In Zukunft muss es eine zu AGI gehörende Interaktionsmethode in natürlicher Sprache geben, die unseren menschlichen Eigenschaften besser entspricht. Es heißt sogar, dass ich eines Tages, sobald die Gehirn-Computer-Schnittstelle verbunden ist, nicht einmal mehr sprechen muss. Daher ist das Smart-Terminal von AGI möglicherweise kein Mobiltelefon, oder das Mobiltelefon wird irgendwann seine Form ändern Punkt.

Und wenn wir eine natürlichere Art der Interaktion haben, warum brauchen wir dann eine App ? Wenn große Mobiltelefonhersteller wie Apple nicht in diese Richtung arbeiten, wird es auf jeden Fall jemand anderes tun.

APPSO : Welchen Charakter wird Wall Face Ihrer Meinung nach darin haben?

Liu Zhiyuan: Für ein Start-up-Unternehmen wie uns liegt unser Vorteil in der Innovation, der extremen Innovation. Unser erstes Ziel ist es herauszufinden, wie man AGI nutzt. Wir sind dafür geboren, und das ist unser Vorteil.

Sogar große Hersteller werden von den Rädern der Geschichte zerquetscht, wenn sie nicht innovativ sind, genau wie damals Nokia.

APPSO: Wie würden Sie Ihre Zusammenarbeit mit Huawei beschreiben?

Liu Zhiyuan: Wir hoffen , eine Partnerschaft mit Unternehmen wie Huawei einzugehen, die als Branchenmodell für die Zusammenarbeit zwischen Geräten und Cloud dienen kann .

APPSO: Huawei hat ein reines Hongmeng auf den Markt gebracht, bei dem das KI-Framework und große Modelle sehr wichtig sind. Werden Sie in Zukunft stärker zusammenarbeiten?

Liu Zhiyuan: Es wird auf jeden Fall eine Zusammenarbeit bei Smart Chips, Smart Betriebssystemen und sogar auf Modellebene geben.

APPSO: Befürchten Sie, dass diese Hardwarehersteller ihre eigenen geräteseitigen Modelle herstellen?

Liu Zhiyuan: Das ist ein großer Unterschied zwischen dem chinesischen und dem amerikanischen Markt. In der amerikanischen Industriekette herrscht untereinander ein starkes Sicherheitsgefühl und jeder kann gemeinsam Geschäfte machen. Aber China scheint zu wollen, dass jedes Unternehmen alles selbst erledigt, wenn es etwas nicht selbst erledigt, wird es sich sehr unsicher fühlen volles Spiel zu jedermanns Arbeit, sondern kann diesen Markt besser besetzen.

APPSO: Was kann Wallface, was andere Hardwarehersteller nicht können?

Liu Zhiyuan: Erstens ist die Technologie aus der Perspektive großer Modellalgorithmen tatsächlich schnell verbreitet. Wir verfolgen keine Modelltrainingstechnologie, die andere Hersteller niemals beherrschen werden.

Zumindest vorerst stellt es aufgrund der Einschränkungen bei der Rechenleistung und dem Energieverbrauch des Speichers tatsächlich höhere Anforderungen an den Herstellungsprozess des Modells. Es muss in der Lage sein, das Modell auf extremere Weise in eine kleinere Parameterskala zu bringen und gleichzeitig über stärkere Fähigkeiten zu verfügen.

Beispielsweise muss im Chip-Herstellungsprozess der fortschrittlichste Prozess verwendet werden, um Endtest-Chips herzustellen. Da der Platz für End-to-End-Tests kleiner ist und empfindlicher auf den Energieverbrauch reagiert, muss selbst das End-to-End-Testmodell einen höheren Modellprozess erfordern, der strenger ist als das Cloud-Modell.

Beim Cloud-Testen haben Sie mehr Spielraum, solange Ihre Rechenleistungsressourcen ausreichen. Beim Endtest ist das jedoch anders. Die Einschränkungen beim Endtest sind durch den Chip, den Speicher und die Batterie begrenzt. Sie müssen also ein extrem kleines Modell trainieren. Aus dieser Sicht, ganz zu schweigen von den großen Modellunternehmen auf dem Markt, trainierte Google beispielsweise zwei Monate später als wir Modelle auf dem gleichen Niveau und lag immer noch etwa 10 % hinter uns.

APPSO: Sie haben vorhergesagt, dass die meisten Anwendungen in Zukunft auf der Geräteseite liegen werden. Inwieweit ist dies Ihrer Meinung nach möglich?

Liu Zhiyuan: Tatsächlich muss der Endtester ein Einstein sein, um Ihnen GPT-4- oder GPT-4o-Niveau zu bieten. Ich schätze, wenn die Wissensdichte von End-Side-Chips im gleichen Tempo zunimmt, können wir in den nächsten zwei Jahren das GPT-4-Niveau in End-Side-Tests umsetzen und dann werden mehr als 80 % der Anforderungen erfüllt sein die Endseite.

APPSO: Ihre Vorhersage ist ziemlich radikal.

Liu Zhiyuan: Ist es radikal? Wir können abwarten und sehen.

Bei AGI muss das Ziel über die menschliche Natur hinausgehen

APPSO: Seit dem Ausbruch großer Modelle sprechen alle großen Modellhersteller über TPF Technology (Problem Fit). Wie bildet Wall-Facing Intelligence intern einen Konsens über Technologie und Produkte und kombiniert T und P?

Liu Zhiyuan: Wir haben eine längerfristige Vision: Wir wollen in der AGI-Ära eine Super-App sein.

Aber wir müssen kurzfristig überleben und dem Markt den Wert unserer Technologie beweisen. Daher werden wir die Verifizierung der Technologie durch strategische Zusammenarbeit mit einigen Herstellern abschließen, beispielsweise durch die Unterstützung des Mittleren Volksgerichtshofs bei der Einführung eines durch künstliche Intelligenz unterstützten Versuchssystems. Diese Erkundungen sind unsere kurzfristigen Ziele bei der Verwirklichung unserer langfristigen Vision.

APPSO: Superanwendungen sind auch ein sehr heißes Thema, wenn wir jetzt über Superanwendungen sprechen, könnte es sich um eine Falle oder eine falsche Behauptung handeln. Es gibt derzeit keine allgemein akzeptierte Definition, was eine Superanwendung ist.

Liu Zhiyuan: Nach dem Jahr 2000 habe ich mindestens zwei sehr wichtige technologische Wellen wahrgenommen. Eine davon war die Suchtechnologie, die große Unternehmen wie Google hervorbrachte. Das zweite Mal ist die personalisierte Empfehlungstechnologie. Dies hat zu wichtigen Anwendungen wie Douyin geführt.

Tatsächlich waren diese Technologien selbst damals sehr sicher. Jeder weiß, dass es ein sehr großer Durchbruch ist. Es geht nur darum, wie man es verwendet und welche Art von Produkt daraus entsteht. Diese Angelegenheit ist ungewiss und erfordert Wettbewerb.

Für uns geht es erstens darum, die modernste Technologie zu beherrschen, und zweitens darum, sensibel genug zu sein. Wenn eine Super-App erscheint, müssen wir erkennen können, dass es sich um eine Super-App handelt.

APPSO: Denken Sie also, dass es derzeit schwierig ist, eine Super-App zu definieren?

Liu Zhiyuan: Wenn man auf die Geschichte zurückblickt, wie viele Menschen erkannten, dass es sich um Superanwendungen handelte, als Google und Toutiao auftauchten. Damals hat Yahoo News eine spezielle App entwickelt, die Ihnen jeden Tag nur zehn Nachrichten zusendete.

Sie sehen, auch wenn sie die heutigen Schlagzeilen bereits vor Augen haben, wird er diese Entscheidungen dennoch treffen. Außerdem ist die Super-App noch nicht erschienen. Selbst wenn, würden die meisten Leute sie nicht nutzen.

APPSO: Wie entdeckt man Super-Apps?

Liu Zhiyuan: Was ich meinen Schülern immer sage, ist , niemals jemand mit Eigeninteressen zu sein . Seien Sie nicht unwillig zuzugeben, dass Sie revolutioniert wurden, nur weil Sie zuvor verschiedene Vorteile hatten .

Viele Menschen sind nicht bereit zuzugeben, dass sie revolutioniert wurden. Als er statistische maschinelle Übersetzungen durchführte, war er nicht bereit, das Aufkommen neuronaler maschineller Übersetzung zu sehen. Bei der neuronalen maschinellen Übersetzung möchte er nicht, dass große Modelle entstehen. Weil er das Gefühl hatte, dass all die Dinge, in denen er gut war, bedeutungslos waren, und er wollte es nicht zugeben.

APPSO: Das liegt in der Natur des Menschen.

Liu Zhiyuan: 99 % der Menschen sind Menschen. Ich denke, um dies zu erreichen, müssen Sie ein Gefühl für Ihre Mission haben. Ihr Ziel muss über Ihre Menschlichkeit hinausgehen .

Wenn Ihre Mission niedriger ist als Ihre Menschlichkeit, dann dürfen Sie sie nicht erfüllen können. Wenn ein Gründer beispielsweise denkt, dass es für ihn am wichtigsten ist, das Unternehmen zu behalten, ist die Wahrscheinlichkeit hoch, dass er die Superbewerbung nicht einholen kann Mach es gut?

APPSO: Nur ein einigermaßen idealistischer Mensch würde so etwas sagen.

Liu Zhiyuan: Ohne Idealismus hätte ich dieses Unternehmen nicht gegründet.

APPSO: Manche Leute sagen, dass der Übergang von einem großen Modell zu einem intelligenten Agenten exponentiell ist.

Liu Zhiyuan: Ich glaube nicht, dass es eine Standardantwort auf die Intelligenz selbst gibt, aber der Schlüssel hängt davon ab, was man hineinsteckt. Ich bin optimistischer, dass der intelligente Agent mit vielen Dingen ausgestattet werden kann, etwa mit seinen Planungs-, Entscheidungs- und Erkundungsfähigkeiten. Wenn man all dies als Teil von AGI betrachtet, denke ich tatsächlich, dass Internet-Agenten in Zukunft eher lohnenswert sind.

Es entspricht dem Internet, das aus diesen Agenten besteht. Wir nennen es das Internet der Intelligenz. Ich denke, das ist es wert, sich darauf zu freuen. Sie können sich vorstellen, dass es sich, genau wie unsere menschliche Gesellschaft, um eine stark vernetzte Gemeinschaft handelt. Jeder erledigt einige Arbeiten durch volle Zusammenarbeit. In vielen Bereichen, insbesondere in komplexen Bereichen, ist es tatsächlich erforderlich, dass jeder über einen eigenen beruflichen Hintergrund und Fachwissen verfügt und zusammenarbeiten muss, um diese zu erreichen.

APPSO: Ist es etwas zu weit, jetzt über AGI zu sprechen?

Liu Zhiyuan: Ich glaube nicht, dass es weit weg ist. Bevor ChatGPT etwa Ende 2022 herauskommt, hatte ich immer das Gefühl, dass AGI immer noch ein ungelöstes Problem hat, nämlich das Problem des gesunden Menschenverstandes, also wie man einen gesunden Menschenverstand für die Welt entwickelt.

Zum Beispiel hat eine Ente einen Kopf, zwei Füße und zwei Flügel, so etwas ist der gesunde Menschenverstand. Vor dem Aufkommen von GPT-3.5 dachte ich, dass es schwierig sei, dieses Wissen aus Daten zu lernen. Einschließlich körperlicher Probleme, etwa was passiert, wenn man eine Tasse vom Tisch auf den Boden fegt usw. Wenn man vernünftige Fragen zu großen Modellen stellt, kann er sie nicht beantworten.

Nach der Einführung von ChatGPT stellten wir fest, dass dieser gesunde Menschenverstand offenbar vom Modell auf datengesteuerte Weise erlernt werden kann. Es ist nur so, dass wir vorher nicht wussten, wie man es nennt, und ChatGPT hat uns gesagt, wie man es nennt. Ich denke, dieser technische Weg ist sehr reibungslos. Sie müssen lediglich die Daten, die dem zu erlernenden Wissen entsprechen, an dieses Modell übergeben, um es zu lernen.

APPSO: Können große Modelle die Welt wirklich so verstehen wie Menschen?

Liu Zhiyuan: Es ist mit diesem Modell verbunden und lernt Ihre täglichen Gewohnheiten bei der Bedienung dieser Apps. Es gibt absolut keinen Grund, warum es Ihre Vorlieben nicht lernen kann. Wenn ich zum Beispiel einen Flug buchen möchte und Sie ihm sagen, wann ich ihn buchen möchte, wird er es einfach tun.
Meiner Meinung nach ist die Richtung dieser Technologie also sehr bestimmt. Ich denke, wir sollten dieses Problem optimistischer betrachten, wenn wir gerade darüber sprechen, wie die drei Elemente Daten, Architektur und Wachstumsmethoden gelöst werden können.

OpenAI sagt, dass es in sechs Jahren ein Superintelligenzunternehmen werden wird, was meiner Meinung nach ein sehr realisierbares Ziel ist .

# Willkommen beim offiziellen öffentlichen WeChat-Konto von aifaner (WeChat-ID: ifanr). Weitere spannende Inhalte werden Ihnen so schnell wie möglich zur Verfügung gestellt.

Ai Faner |. Ursprünglicher Link · Kommentare anzeigen · Sina Weibo