Ein genialer Wissenschaftler ist verstorben und die gesamte KI-Community erinnert sich heute an ihn

Es ist fast zwei Monate her, seit sich der Deepmind-Forscher Felix Hill das letzte Mal auf der X-Plattform geäußert hat.

Leider verstarb der Forscher am 5. Dezember letzten Jahres nach einem langen Kampf mit einer schweren psychischen Erkrankung.

Diese Nachricht wurde auch von Douwe Kiela, außerordentlicher Professor an der Stanford University und CEO von Contextual AI, auf der X-Plattform bestätigt.

Nachdem die schlechten Nachrichten bekannt wurden, erinnerten sich viele Leute im KI-Kreis an diesen Freund im Kommentarbereich von Douwe Kiela.

Sogar Gary Marcus, der akademische Differenzen mit Felix hatte, sagte:

Obwohl wir auf intellektueller Ebene manchmal unterschiedlicher Meinung sind, tut es mir sehr leid, das zu hören. Möge er in Frieden ruhen.

Viele Forscher, darunter David Ding, CEO und Mitbegründer von Udio, Nataniel Ruiz, leitender Forschungswissenschaftler bei Google, Meta und OpenAI, haben ebenfalls Nachrichten gepostet, um ihr Beileid auszudrücken.

Möge der Verstorbene in Frieden ruhen. Mein tiefstes Beileid gilt seinen Freunden und seiner Familie.

Kyunghyun Cho, ein bekannter KI-Forscher und Professor an der New York University, traf Felix im Sommer 2014 in Montreal und veröffentlichte später einen Beitrag, in dem er sich an die Vergangenheit erinnerte. Zu dieser Zeit war Kyunghyun Postdoktorand und Felix Gaststudent.

Durch eine akademische Diskussion über grammatikalische Strukturen wurden sie Freunde.

Nach der gemeinsamen Forschungsarbeit war eines der Ergebnisse, die sie erzielten, der Trend zu „großen Tabellen“ in den 2016 veröffentlichten Artikeln. Dieser Stil wurde in den nächsten drei bis fünf Jahren von der akademischen Gemeinschaft weitgehend nachgeahmt.

Obwohl der Mann verstorben ist, wird das Licht von Felix Hills Ansichten für immer weiterleben.

Sogar Kollegen, die ihn noch nie getroffen haben, sind von ihm beeindruckt. Jim Fan, ein leitender Forschungswissenschaftler bei NVIDIA, hat heute auch Felix Hills Blog auf der X-Plattform weitergeleitet, um seinem Freund zu gedenken.

Dies ist der herzzerreißendste Blog, den ich je gelesen habe, weil er so wahr ist und mir so am Herzen liegt.

Der Autor ist nicht mehr unter uns. Ich konnte nicht anders, als Tränen zu vergießen…

Ich hatte nie das Vergnügen, Felix persönlich kennenzulernen, aber ich mochte seine Forschungsperspektive und richtete für jede seiner neuen Arbeiten eine Google Scholar-Benachrichtigung ein.

Seine Arbeit im Bereich Agenten und VLM hatte einen tiefgreifenden Einfluss auf meine Forschung. Er hätte ein guter Freund sein können. Ich wollte ihn unbedingt kennenlernen, aber jetzt bekomme ich keine Chance mehr.

Er leitet das KI-Forschungsteam, kann aber seine inneren Dämonen nicht besiegen

Die öffentlichen Informationen von Linkedin zeigen, dass Felix Hill ein guter Student mit hervorragenden akademischen Leistungen im weltlichen Sinne ist.

Er schloss sein Mathematikstudium an der Universität Oxford mit einem Bachelor ab und war außerdem Kapitän des Badmintonteams der Universität Oxford. Das Postgraduiertenpraktikum findet an der Nationalen Autonomen Universität von Mexiko mit den Schwerpunkten Kognitionswissenschaft, Linguistik und Pädagogik statt, wobei der Schwerpunkt auf multidisziplinären Bereichen (Kognitionswissenschaft und Linguistik) liegt.

Diese Erfahrung bereicherte nicht nur seinen internationalen Horizont, sondern erweiterte auch seine akademischen Interessen.

Von 2011 bis 2016 studierte er Linguistik und Computerlinguistik an der Universität Cambridge und fungierte dabei auch als Kapitän des Golfteams.

Nach seinem Eintritt ins Berufsleben verlief die berufliche Entwicklung von Felix reibungslos.

Er widmete sich einst der Bildung und war 14 Monate lang als Mathematiklehrer tätig, wo er Schüler im Alter von 14 bis 18 Jahren bei der Vorbereitung auf Prüfungen und bei der Bewerbung für ein College anleitete. Gleichzeitig engagierte er sich für das Gemeinwohl und unterstützte lokale Nichtregierungsorganisationen im Bildungsbereich .

Nach 2016 arbeitete Felix lange Zeit bei Google Deepmind.

Vor seinem Tod war er hauptsächlich für die Leitung eines Teams bei Deepmind verantwortlich, das die Interaktion zwischen Sprache und allgemeiner Intelligenz erforschte. Gleichzeitig begann er, seinen Schwerpunkt auf wissenschaftliche und technologische Spitzenforschung zu verlagern, wobei der Schwerpunkt auf Linguistik, maschinellem Lernen und der Entwicklung von KI-Modellen lag.

Daten von Google Scholar zeigen, dass seine Arbeiten insgesamt 19.680 Mal zitiert wurden, mit einem h-Index von 42, wobei die Zahl der Zitate nach 2020 sogar 16.608 Mal betrug, was weitreichende Auswirkungen auf verwandte Bereiche hatte.

Auf der X-Plattform schrieb dieser Freund in seiner Selbstvorstellung:

Ich versuche, wirklich über den Inhalt jedes Tweets nachzudenken, insbesondere über die Teile über Fußball der 90er und Musik der 80er. Meine Meinung ist ausschließlich meine eigene und stellt in keiner Weise die Meinung anderer dar.

Allerdings kämpfte dieser KI-Forscher, der in den Augen der Welt große Erfolge erzielt hat, mit schweren psychischen Erkrankungen. In Felix‘ Blog hat er auch seine mentale Reise in der letzten Phase seines Lebens festgehalten:

Seine Mutter starb im April 2023 an der Alzheimer-Krankheit, und im gleichen Zeitraum wurde er wegen einer akuten Psychose, möglicherweise stressbedingt, ins Krankenhaus eingeliefert. Es folgte eine 12-monatige Periode intensiver Angstzustände und tiefer Depressionen.

Nachdem ich von meinem Arbeitgeber Verständnis und Unterstützung, einschließlich therapeutischer Unterstützung und spiritueller Betreuung, erhalten hatte und es mir nach einer sechsmonatigen Phase lebensbedrohlicher Depression zu bessern begann, begann ich, über meine Beobachtungen und mein Verständnis von Stress und Angst nachzudenken und diese aufzuzeichnen.

Allerdings spielt das Schicksal den Menschen oft einen Streich. Am 5. Dezember letzten Jahres verstarb dieser Freund schließlich vorzeitig.

RUHE IN FRIEDEN

Im Anhang finden Sie Jim Fans Repost von Felix Hills Original-Blog

Die Verantwortung von 200 Milliarden Gewicht

Der Druck moderner KI-Arbeit

Von Felix Hill, Oktober 2024

In den letzten zwei Jahren hat sich der Bereich der KI irreversibel verändert.

ChatGPT hat fast 200 Millionen monatlich aktive Benutzer. Zwillinge hatten im Mai 2024 fast 320 Millionen Besuche. Heute können KI-Enthusiasten sogar KI-Mikrowellen, KI-Zahnbürsten und sogar KI-Fußbälle verwenden.

Für viele von uns, die im Bereich KI arbeiten, war dieser Anstieg des öffentlichen Interesses jedoch sowohl ein Segen als auch eine Belastung. Tatsächlich steigen mit steigenden Löhnen auch die Aktienkurse und Marktbewertungen. Gleichzeitig bringt dieser Wandel aber auch einen besonderen Druck mit sich.

In diesem Blog geht es um den Druck, der durch moderne KI entsteht. Die Zielgruppe sind diejenigen, die im Bereich KI arbeiten (konservativen Schätzungen zufolge etwa 87 % der Weltbevölkerung), insbesondere diejenigen, die in der KI-Forschung tätig sind.

Letztendlich hoffe ich, dass ich durch die Diskussion der stressigen Aspekte der KI-Forschung das Leben derjenigen angenehmer machen kann, die das Glück haben, in diesem Bereich zu arbeiten. Denn trotz des aktuellen Chaos ist dies eine wundervolle und erfüllende Karriere, die das Potenzial hat, viele der großen Fragen der Wissenschaft, Philosophie und sogar der Menschheit selbst zu beantworten.

Kein Entrinnen

Vor ein paar Monaten besuchte ich die 40. Geburtstagsfeier eines Freundes. Wir sind enge Freunde, daher kannte ich einige der Gäste auf der Party, einige sogar sehr gut. Aber es gab auch einige Leute, die ich überhaupt nicht kannte.

Bei denen, die ich nicht gut kannte, bemerkte ich ein seltsames Phänomen.

Auch wenn es mir zu diesem Zeitpunkt gesundheitlich nicht gut ging (dazu später mehr) und ich mich offensichtlich nicht aktiv an der Unterhaltung beteiligen wollte, bildete sich um mich herum eine kleine Menschenschlange, einfach weil alle wussten, dass ich bei DeepMind arbeite und Viele Leute wollten mit mir reden.

In diesen Gesprächen ging es nicht um entspannende Themen wie Fußball oder 80er-Jahre-Musik, sondern um das eine Thema, das ich am liebsten vermeiden wollte: KI. Das Interesse an meiner Arbeit schmeichelt mir zwar, es macht mir aber auch klar, wie viel sich in den letzten zwei Jahren verändert hat. Banker, Anwälte, Ärzte und Unternehmensberater wollten alle, dass ich zu ChatGPT Stellung nehme. Obwohl nur wenige von ihnen diese LLMs direkt in ihrer Arbeit nutzten, waren sie alle davon überzeugt, dass mit der KI etwas Wichtiges passierte und dass sie es verstehen mussten.

Da ich selbst Forscher bin, können Sie das Gefühl, in sozialen Situationen nicht „den Schalter ausschalten“ zu können, sicher nachvollziehen.

Aber es kam noch schlimmer. Selbst in meinem eigenen Zuhause konnte ich nicht entkommen.

Ich hatte aufgehört, die Nachrichten zu schauen, aus Angst, Angst auszulösen. Aber selbst wenn man sich Fußball, VH1, Inspector Montalbano oder die wunderbare TV-Adaption der neapolitanischen Trilogie anschaut, sind die Werbespots voller Hinweise auf KI.

Während dieser Zeit dachte ich oft darüber nach, meine Koffer zu packen, über den Kontinent zu ziehen und einer abgeschiedenen Religionsgemeinschaft beizutreten. Obwohl es mich nicht wundern würde, dass sogar Vipassana Yoga inzwischen in gewissem Maße von KI durchdrungen sein könnte.

impliziter Wettbewerb

Mehrere große Unternehmen scheinen um die Entwicklung der größten und leistungsstärksten Sprachmodelle zu konkurrieren, was an sich schon einen enormen Druck erzeugt, egal für welches Unternehmen Sie arbeiten.

In der aktuellen KI-Forschung fühlt es sich manchmal so an, als ob wir uns in einem Krieg befinden. Von Adolf Hitler bis Holland Schulz wissen wir, dass die Teilnahme am Krieg schwerwiegende Folgen haben kann, darunter psychische Erkrankungen, Scheidung und Selbstmord.

Natürlich soll die Teilnahme an der KI-Forschung nicht mit dem physischen Kampf in einem „echten Krieg“ gleichgesetzt werden. Aber meiner eigenen Erfahrung nach sind die Ähnlichkeiten zwischen den beiden zwar weit hergeholt, aber real.

Beeinflussen Sie das Endergebnis des Unternehmens

Forscher, die in der Industrie arbeiten, sind in der Regel nicht mit den direkten und unmittelbaren Auswirkungen ihrer Arbeit auf das Geschäftsergebnis ihres Arbeitgebers vertraut.

Natürlich träumen viele Forscher von einer solchen Chance. Aber früher passierte das meist nur einmal im Jahrzehnt.

Heutzutage führen Grundlagenforschungsergebnisse zu LLMs oft nur zu geringfügigen, kurzfristigen Schwankungen der Modellleistung. Aufgrund des gestiegenen öffentlichen Interesses an der Leistung von LLM könnten diese Schwankungen jedoch wiederum zu Aktienkursbewegungen in Milliardenhöhe führen.

Diese Dynamik ist eindeutig sehr stressig und nicht etwas, wofür KI-Forscher in Graduiertenschulen, Postdoktoranden oder sogar in ihren Jobs vor 2022 geschult sind.

Geld, Geld, Geld

Die meisten KI-Forscher, insbesondere solche über einem bestimmten Alter, betreiben keine Forschung, um Geld zu verdienen. Eine Menge Geld für einen Job zu verdienen, den man liebt, mag wie eine gute Medizin klingen, kann aber auch starke Angstgefühle auslösen. Diese Angst wird besonders deutlich, wenn die externen Faktoren, die das Einkommen steigern, außerhalb der Kontrolle liegen oder wenn diese Faktoren die Liebe zum Job verringern.

Egal, ob es mit der KI zu tun hat oder nicht, es gibt viele Hinweise darauf, dass die plötzliche Anhäufung von Reichtum alle möglichen Probleme verursachen kann. Schauen Sie sich nur Schauspieler oder Sänger an, die nach Jahren harter Arbeit endlich über Nacht berühmt werden. Sucht, zerbrochene Beziehungen, zerbrochene Freundschaften und sogar Selbstmord sind einige der häufigeren Folgen. Diese Themen lösen bei mir persönlich tiefe Gefühle aus.

Wissenschaftler sind nutzlos

Der Umfang, die Einfachheit und die Effizienz von LLM machen es für wissenschaftliche Forschung schwierig, „relevant“ zu werden, d. h. direkt zur Verbesserung der Leistung von LLM beizutragen.

Viele führende LLM-Forscher haben begonnen, Rich Suttons „bittere Lektion“ zu verbreiten: Es besteht kaum Bedarf für Innovationen, die über die Skalierung hinausgehen.

Auch wenn substanzielle Innovationen theoretisch möglich sind (und daran besteht kein Zweifel), erfordert das Erreichen dieser Innovationen häufig eine wiederholte Schulung der größten LLMs unter unterschiedlichen Bedingungen. Das können sich selbst die größten Unternehmen heute nicht mehr leisten. Für einen „normalen“ Forscher kann diese Situation emotional und körperlich belastend sein.

Diese Bedingungen sind für Industriewissenschaftler, die es gewohnt sind, in kleinen Teams (5-10 Personen) zu arbeiten, bereits schwierig. Für Doktoranden, Postdoktoranden und AI/CS/ML-Fakultäten im akademischen Bereich ist dieser Druck zweifellos größer.

Veröffentlichen Sie einen Artikel

Während Forscher im akademischen Bereich die Erkenntnisse, die sie aus LLM-Experimenten gewinnen, weiterhin veröffentlichen können (und sollten), wird es für Wissenschaftler in der Industrie immer unsicherer, ob die Veröffentlichung von Arbeiten noch ein tragfähiges Forschungsergebnis ist.

Das Veröffentlichen von Artikeln ist seit langem ein zentraler Bestandteil des wissenschaftlichen Prozesses und ein wichtiger Grundsatz der KI-Forschung. Die meisten KI-Forscher, mit denen ich spreche, insbesondere Forscher, sind sich einig, dass das Veröffentlichen ein wesentlicher Bestandteil unserer Karriere ist.

Allerdings ist die Veröffentlichung von Forschungsergebnissen zumindest in der Industrie in den letzten zwei Jahren zunehmend unsicher geworden. Sogar einige kleine Tricks, die die LLM-Leistung leicht verbessern können, könnten zu wichtigen „Waffen“ im LLM-Krieg werden. Ob diese „Geheimnisse“ öffentlich gemacht werden sollten und ob dies den Institutionen zugute kommt, die die Forschung finanzieren, ist immer eine heikle Frage.

Dies alles führt dazu, dass Forscher oft kaum Kontrolle über das Schicksal ihrer Ideen haben. Und diese Situation kann, zumindest für mich, eine Menge Stress verursachen.

Start-up

Ein möglicher Ausweg aus diesen Bedenken besteht natürlich darin, eine wissenschaftliche Vision zu formulieren, Gelder zu beschaffen und ein Start-up zu gründen. Tatsächlich zeigt der aktuelle Anstieg der KI-Startups (sowohl große als auch kleine), dass viele Wissenschaftler diesen Weg bereits gewählt haben.

Allerdings ist die Existenz eines Gründers keine Garantie dafür, dass Sie frei von stressbedingten Problemen sind. Tatsächlich ist diese Straße für ihren hohen Stresspegel bekannt. Trotz der aktuellen Begeisterung der Investoren scheitern viele gut finanzierte KI-Startups immer noch. Meiner eigenen Erfahrung nach kann es eine besonders einsame Reise sein, Gründer zu sein. Für angehende Wissenschaftler ist das heute sicherlich eine praktikable Option, aber es macht die wissenschaftliche Forschung nicht einfacher oder weniger stressig.

Warum habe ich mich entschieden, einen Blog über Stress zu schreiben?

Die letzten zwei Jahre waren für die KI-Welt chaotisch und verrückt und für mich persönlich eine besonders turbulente Zeit.

Im April 2023 verstarb meine Mutter nach einem langen Kampf gegen die Alzheimer-Krankheit. Zu dieser Zeit war ich aufgrund einer akuten Psychose in einer psychiatrischen Klinik und Stress war wahrscheinlich ein wichtiger Auslöser für all das. Im Laufe der nächsten 12 Monate erholte ich mich theoretisch, aber in Wirklichkeit erlebte ich einen Zustand extremer Angst und tiefer Depression. Während dieser Zeit hatte ich das große Glück, Arbeitgeber zu haben, die meine Situation verstanden (und den Wert meines Beitrags für das Unternehmen erkannten) und mir kontinuierliche therapeutische Unterstützung und ethische Betreuung boten.

Nach weiteren 6 Monaten lebensbedrohlicher Depression geht es mir endlich besser und ich fühle mich seit kurzem ermächtigt, über meine Erfahrungen zu schreiben. Mir wurde klar, dass Stress und Angst Hand in Hand gehen und im Wesentlichen dasselbe sein können. Natürlich kann Angst, wie jedes adaptive Merkmal, bis zu einem gewissen Grad von Vorteil sein (z. B. kann sie die Produktivität steigern), aber wenn Angst bösartig wird, können die Folgen schwerwiegend sein.

Die Erkenntnisse, die ich in diesem Blog teile, habe ich gewonnen, als ich über meine Erfahrungen im KI-Bereich der letzten zwei Jahre nachdachte und dabei versuchte, neu zu lernen, wie man ein KI-Forscher wird. Natürlich wird das bloße Teilen dieser Erkenntnisse nicht alles lösen, aber in meinen dunkelsten Momenten gab mir nur das Wissen, dass ich nicht allein war, Hoffnung. Wenn Sie gerade Schmerzen haben, vertrauen Sie mir – Sie sind nicht allein.

soziale Angst

Ich habe eine Reihe von Gründen besprochen, warum sich Menschen, die derzeit an KI arbeiten, möglicherweise gestresst oder ängstlich fühlen. Aber es gibt noch eine andere Form von Stress, die ich noch nicht erwähnt habe, weil ich das Glück hatte, sie nie zu erleben. Dieser Stress ist soziale Angst.

Freunde beschreiben Menschen mit sozialer Angst als Menschen, die Gruppeninteraktionen als herausfordernd empfinden. In der modernen Welt der KI sind solche Schwierigkeiten besonders akut, da große Projektteams und kontinentalübergreifende Zusammenarbeit unverzichtbar geworden sind. Das Problem wird durch die hohen Fluktuationsraten in der heutigen Branche nur noch verschärft, da etablierte Teams (oft als soziales „Sicherheitsnetz“ angesehen) über Nacht zerstört werden können. Häufiger Personalwechsel kann auch zu Vertrauensproblemen führen, da sich einst zuverlässige Verbündete „feindlichen“ Forschungsteams anschließen können.

Die gute Nachricht ist, dass soziale Ängste, wie alle Anzeichen von Angst oder Stress, die ich zuvor besprochen habe, überwunden werden können. Der Prozess der Überwindung beginnt mit der Pflege natürlicher Unterstützungsnetzwerke, beispielsweise indem man sich auf Familie und „Nicht-KI“-Freunde verlässt. Aber ein entscheidender zweiter Schritt besteht für uns alle, die in der KI arbeiten, darin, ehrliche Gespräche über Stress zu beginnen und fortzusetzen.

Teilen Sie Ihre Erfahrungen also bitte über Tweets oder Kommentare. Lassen Sie uns zusammenarbeiten, um die KI-Forschung nicht nur zu einem lebendigen und intellektuell herausfordernden Ort, sondern zu einem Feld des Mitgefühls und der Freundlichkeit zu machen.

# Willkommen beim offiziellen öffentlichen WeChat-Konto von aifaner (WeChat-ID: ifanr). Weitere spannende Inhalte werden Ihnen so schnell wie möglich zur Verfügung gestellt.

Ai Faner |. Ursprünglicher Link · Kommentare anzeigen · Sina Weibo