„Der schnellste KI-Chip der Welt“ veröffentlicht, Harvard-Abbrecher fordert NVIDIA heraus
Wenn es um Schlüsselwörter wie KI, große Modelle und Rechenleistung geht und Sie Hardwareprodukte erwähnen möchten, werden viele Leute ohne nachzudenken NVIDIA sagen.
Ein Wall-Street-Analyst kommentierte einmal:
Im Bereich der künstlichen Intelligenz herrscht Krieg, und Nvidia ist der einzige Waffenhändler.
Tatsächlich ist die Position von NVIDIA im KI-Zeitalter einzigartig und schwer zu erschüttern. Aber jetzt ist ein mutiger Mann bereit, die Situation offiziell in Frage zu stellen.
Im Jahr 2022 gründeten Gavin Uberti und Chris Zhu Etched.ai. Sie haben von Anfang an 5,36 Millionen US-Dollar an Startkapitalinvestitionen erhalten, darunter auch der ehemalige Ebay-CEO Devin Wenig.
Nachdem Etched gerade eine Finanzierung in Höhe von 120 Millionen US-Dollar angekündigt hatte, hat es den derzeit schnellsten KI-Chip auf den Markt gebracht – Sohu.
Dieses Sohu ist nicht das Sohu, das behauptet, Tausende von Wörtern in Millisekunden verarbeiten zu können. Es kann mehr als 500.000 Token pro Sekunde verarbeiten und das Llama 70B-Modell ausführen.
Welches Konzept? Dies entspricht dem Schreiben der Bibel in zwei Sekunden oder dem Schreiben von 15 Billionen Token in einem Jahr.
Laut der offiziellen Website von Etched integriert Sohu die Transformer-Architektur auf Hardwareebene und ist der erste dedizierte Chip (ASIC), der speziell für das Transformer-Modell entwickelt wurde.
Es ist diese Spezialisierung, die Sohu eine enorme Leistungssteigerung beschert. Im Vergleich zu NVIDIA H100 ist die Inferenzgeschwindigkeit von Sohu um das 8- bis 10-fache erhöht.
Ein mit acht Sohu-Chips ausgestatteter Server kann ganze 160 NVIDIA H100-GPUs ersetzen.
Für Programmierszenarien kann Sohu über die Monte-Carlo-Baumsuche parallel auf Hunderte von Ergebnissen reagieren, um die beste Antwort zu geben.
Ob Sprachassistent oder intelligenter Kundenservice, Sohu kann Tausende von Wörtern in Millisekunden analysieren.
Und Sohu unterstützt auch die mehrfache spekulative Dekodierung, wodurch in Echtzeit und mit extrem hoher Geschwindigkeit neue Inhalte generiert werden können.
Als weltweit erster Transformer-ASIC-Chip (Application-Specific Integrated Circuit) verfügt jeder Sohu-Chip nur über einen Kern, nutzt den 4-nm-Herstellungsprozess von TSMC und ist mit 144 GB HBM3E-Speicher mit hoher Bandbreite ausgestattet.
Verglichen mit Nvidias Blackwell-GPU (B200) der nächsten Generation ist Sohu um eine Größenordnung schneller und günstiger.
In nur zwei Jahren hat sich Etched von Grund auf zu dem entwickelt, was es heute ist, was wirklich ein „Wunder“ ist.
Die Gründer von Etched, Gavin Uberti und Chris Zhu, sind beide chinesischer Abstammung und verfügen beide über einen reichen Hintergrund.
Gavin Uberti und Chris Zhu besuchten beide die Harvard University und verbrachten einen Teil ihres Studentenlebens. Später entschieden sie sich aus bestimmten Gründen für ein Jahr Auszeit und fanden einen Praktikumsplatz bei OctoAI.
Der damalige Arbeitsinhalt der beiden Personen war hauptsächlich für die Entwicklung des Open-Source-Compilers und Mikrokernels ApacheTVM verantwortlich. Während des Praktikums stellten sie jedoch fest, dass einige Designs im Befehlssatz von Arm sehr ineffizient waren, was ihre Arbeitseffizienz sehr schlecht machte.
Gavin Uberti sagte: „Dieses Problem kann nicht gelöst werden. Ich muss mich jedes Mal, wenn ich arbeite, diesem Problem stellen, was Chris und mir das Gefühl gibt, dass wir es besser machen müssen.“
Als sie darüber nachdachten, wie dieses Problem gelöst werden könnte, entdeckten sie plötzlich, dass sie diese Idee für die Entwicklung eines KI-Beschleunigungschips nutzen könnten.
Also beschlossen die beiden, ihr Studium in Harvard abzubrechen und gründeten ein KI-Chip-Startup-Unternehmen mit Schwerpunkt auf LLM – Etched.
Nach Ansicht von Gavin Uberti kann das Design der allgemeinen öffentlichen Version keine bahnbrechenden Leistungsverbesserungen bewirken, weshalb sie einen speziellen Beschleunigungschip unter der Transformer-Architektur entwickelt haben.
Gavin Uberti sagte einmal:
Wir müssen große Anstrengungen unternehmen, um eine einheitliche Architektur zu schaffen, damit der Chip KI-Aufgaben bewältigen kann. Das Ziel ist zu groß und der Chip muss für spezifischere Aufgaben konzipiert werden … Wir glauben, dass Nvidia dies irgendwann tun wird.
Aktuelle Mainstream-KI-Produkte wie ChatGPT, Claude, Gemini und Sora basieren alle auf der Transformer-Architektur.
Als weltweit erster Transformer-ASIC-Chip und mit so herausragenden Ergebnissen hat Etched natürlich viel Aufmerksamkeit auf sich gezogen.
Am 25. Juni gab Etched den Abschluss einer Serie-A-Finanzierung in Höhe von 120 Millionen US-Dollar bekannt. Die Finanzierung wurde gemeinsam von den New Yorker Risikokapitalfirmen Primary Venture Partners und Positive Sum Ventures geleitet.
Auch die Zahl der Angel-Investoren ist sehr stark, darunter der Risikokapitalgeber Peter Thiel, der CEO von GitHub, Thomas Dohmke, der Mitbegründer des selbstfahrenden Unternehmens Cruise, Kyle Vogt, und der Mitbegründer von Quora, Charlie Cheever.
Bei der Gründung im Jahr 2022 stellte sich Etched eine Zukunft vor, in der Transformer dominieren würde. Gavin Uberti sagte: „Wir setzen am meisten auf künstliche Intelligenz.“
Wenn wir unsere Wette richtig machen, wird Sohu die Welt verändern. Deshalb wagen wir es zu wetten.
# Willkommen beim offiziellen öffentlichen WeChat-Konto von aifaner (WeChat-ID: ifanr). Weitere spannende Inhalte werden Ihnen so schnell wie möglich zur Verfügung gestellt.
Ai Faner |. Ursprünglicher Link · Kommentare anzeigen · Sina Weibo