Large Language Models - Die Technologie hinter ChatGPT und MS Copilot

Das Rennen um die stärkste KI ist in vollem Gange – allein in den letzten zwei Wochen sind Hunderte neuer KI-Tools vorgestellt worden. Zu den ereignisreichsten Releases zählten OpenAI’s GPT-4 am Dienstag, Midjourney V5 am Mittwoch und Microsofts Vorstellung des 365 Copilots am Donnerstag. Besonders der Microsoft Copilot hat das Interesse der Arbeitswelt und somit auch der LinkedIn-Community geweckt und verspricht deutlich effizientere Arbeitsprozesse innerhalb des Microsoft Office Universums.

Was kann der neue MS Copilot?

Wem sagt Clippy oder Karl Klammer noch was? CoPilot ist sozusagen Clippy auf Speed. Er macht Textvorschläge für Emails, erstellt Protokolle von Teams-Meetings, findet die passende Excel-Formel auf Basis eines einfachen Textbefehls, erstellt Briefings für Termine und kuratiert die entsprechenden Infos und Dokumente aus der MS-Cloud. Er kann außerdem Präsentationen in Powerpoint erstellen und auch dafür auf Fotos und Dateien aus der MS-Cloud zurückgreifen. Das folgende Demo-Video zeigt, in welchen MS-Programmen Copilot zukünftig unterstützen wird:

Copilot “kennt” dich und dein Unternehmen

Microsoft Copilot und ChatGPT basieren beide auf der gleichen Technologie - GPT-4. Und dennoch hat der Copilot einen entscheidenden Vorteil, wenn es um unternehmensspezifische Aufgaben geht – Neben dem Zugang zu den Trainingsdaten von GPT-4 hat Copilot nämlich Zugriff auf alle Daten und Informationen innerhalb der MS Cloud. Diese Schnittstelle nennt sich Microsoft Graph und sorgt dafür, dass der Copilot innerhalb des MS Universums unternehmensspezifische Vorschläge machen und auf interne Informationen zugreifen kann.

Ab wann Copilot für die Allgemeinheit der MS Office Nutzer zur Verfügung stehen wird, ist noch unklar. Zurzeit wird das Programm mit ca. 20 großen Kunden getestet. In den nächsten Monaten soll der Copilot langsam in die Beta Kanäle von MS 365 ausgerollt werden. Wahrscheinlich wird der Copilot auch nur in bestimmten Abos möglich sein, denn der Aufwand an Rechenleistung dahinter ist enorm. Wer den Copilot testen will, muss also noch etwas Geduld haben.

Wer noch tiefer einsteigen will, findet hier die ganze Präsentation.

Auch Google kündigte am Diennstag AI-Plugins für die bestehende Google Suite an und veröffentlichte gestern seinen bereits angekündigten Chatbot Bard. Da ich mit meinen Teams in der Google Suite “lebe”, freue ich mich besonders auf das Copilot-Pendant von Google.

Ein weiterer spannender Release innerhalb der Entwickler-Community war die auf maschinelles Lernen ausgerichtete Open-Source-Porgrammierbibliothek für Python, PyTorch 2.0.

Large Language Models - Die Technologie hinter ChatGPT und Co.

Chatbots wie ChatGPT basieren auf großen Sprachmodellen, auch Large Language Models (LLM) genannt. Dabei handelt es sich um künstliche Intelligenz-Systeme, die darauf trainiert sind, menschliche Sprache zu verstehen und in natürlicher Sprache zu antworten.

Die zugrundeliegende “Transformer”-Architektur, die seit 2017 entwickelt wird, zielt darauf ab, Muster in der Sprache zu erkennen und anzuwenden. Im ersten Schritt erfasst der Encoder-Teil des Transformer-Modells die Bedeutung von Wörtern in einem Text, indem er ihre Beziehungen zu anderen Wörtern und ihre Position innerhalb des Textes berücksichtigt. Der Decoder-Teil ist für die Textausgabe verantwortlich. Er verwendet die vom Encoder erfassten Bedeutungen und Beziehungen der Wörter, um neuen, sinnvollen Text zu generieren - also z.B. eine Antwort auf die Frage, wer gerade Bundeskanzler ist.

Dabei hängt die Qualität und Aktualität der Antwort von den verwendeten Trainingsdaten ab. Trainiert werden diese Modelle mit möglichst vielen Daten - im Prinzip allem, was im Internet und auf andere Weise digital verfügbar ist: von Wikipedia, digitalisierten Büchern, Pressemitteilungen, Websites, über spezielle Datenbanken bis hin zu Tweets und anderen Beiträgen in sozialen Netzwerken. Im Fall von ChatGPT reichen die Trainingsdaten nur bis ins Jahr 2021. Das Sprachmodell lebt also zwei Jahre in der Vergangenheit und weiß noch nicht, dass Olaf Scholz inzwischen Bundeskanzler ist.

Zwar unterstützen verschiedene Logik-Schichten das Modell bei der Analyse, aber ein echtes Verständnis für das, was es da gerade schreibt, hat ein LLM nicht – ebenso wenig wie ein Selbstbewusstsein, auch wenn es in der Lage ist, menschliches Konversationsverhalten mit verblüffender Ähnlichkeit nachzuahmen. Ganz vereinfacht ausgedrückt macht es nichts anderes, als die Wörter aneinanderzureihen, die mit der höchsten Wahrscheinlichkeit aufeinander folgen.

Das können LLM’s inzwischen so gut, dass hierbei hochqualitative Texte herauskommen, die oft – aber noch lange nicht immer – korrekte Inhalte liefern. Die größte Herausforderung liegt nun darin, diese Sprachmodelle mit Trainingsdaten zu füttern, die einerseits möglichst aktuell sind, andererseits aber auch keine Fehlinformationen beinhalten. Wenn man bedenkt, wie schnell sich Fake News im Internet verbreiten und dass es selbst uns Menschen teilweise schwerfällt, fehlerhafte Quellen zu identifizieren, kommt auf die KI-Forscher noch einiges an Arbeit zu.

Daher rufen große Player wie Microsoft, Baidu und Google dazu auf, gemeinsam mit den Chatbots zu lernen und den Output stets zu hinterfragen. Nichtsdestotrotz sind die Ergebnisse, die Chatbots wie ChatGPT schon heute liefern, wirklich beeindruckend – besonders, wenn man bedenkt, dass die zugrundeliegende Technologie noch ganz am Anfang steht.

Walk the Talk

Bereits 2010 gründete ich* doo - the document app, *und wollte damals die zentrale Anlaufstelle für alle Dokumente bauen: E-Mails, Office Files, gescannte Briefe, Rechnungen, Termine, Listen und Notizen im Google Kalender sollten in der doo Cloud landen, dort enthaltene Informationen aggregiert und mithilfe von KI analysiert werden. Unsere Vision für doo war es, ein Datenmanagementsystem zu erschaffen, dem man – ähnlich wie heute ChatGPT – Fragen stellen und Aufgaben geben kann. “Zeige mir alle Rechnungen, die ich in den nächsten sieben Tagen bezahlen muss”, oder: “Wie lange läuft der Leasingvertrag für mein Auto noch?”. doo sollte dann auf Basis der aus den Dokumenten zusammengefassten Informationen zuverlässig Antworten liefern können.

2012 haben wir unsere Vision an der Nasdaq in New York vorgestellt.

Für die Idee und die ersten Ansätze bekamen wir 2012 sogar von Angela Merkel den von Microsoft verliehenen Innovation Award überreicht. Doch leider waren wir ein gutes Jahrzehnt zu früh mit unserer Vision. Um doo zu trainieren, hätte es deutlich mehr Trainingsdaten gebraucht, die damals in dem Umfang wie heute noch gar nicht vorhanden waren. Auch waren Anwender zu der Zeit noch gar nicht bereit, einer KI die Organisation ihrer Daten anzuvertrauen. Also ein Henne-Ei Problem ;-) Und wenn ich ganz ehrlich bin, war die Interaktion mit doo auch kein Vergleich zu heutigen LLMs. Am Ende mussten wir unseren ursprünglichen Plan für doo mangels Akzeptanz einstellen und einen Pivot machen. Wir entschieden, uns zunächst auf die Digitalisierung von Dokumenten zu fokussieren und entwickelten eine KI-basierte Scanning-Technologie. Scanbot wurde zum Weltmarktführer für Scanner-Apps und vertreibt seine Technologie inzwischen international als SDK an Unternehmen. Das Team saß noch lange mit uns auf einem Flur in Bonn und ist inzwischen aus Platzmangel in eine eigene Tech-Villa gezogen. Christoph Wagner leitet das Unternehmen heute als CEO.

Für alle Interessierten hier noch etwas Background-Info.

KI im Freigeist-Portfolio

Auch wenn ich meine Vision mit doo damals nicht umsetzen konnte, haben wir mit Scanbot und unseren Freigeist-Startups immer wieder Berührungspunkte zur KI-Technologie. Smartlane z.Bsp. setzt KI-Algorithmen in der Routenoptimierung ein. So können Speditions- und Logistikunternehmen ihren Dispositionsaufwand um bis zu 90% und Transportkosten um bis zu 20% senken. Die Routenoptimierung wird in den nächsten Jahren – ähnlich wie autonomes Fahren – massiv von KI profitieren, da es sich hierbei um hochkomplexe Berechnungen und große Datenmengen handelt.

KI im 10xDNA-Portfolio

Auch mit 10xDNA schauen wir uns natürlich immer wieder Unternehmen im KI-Bereich an – hier fokussieren wir uns aktuell auf die “Schaufelhersteller”, sprich Unternehmen, die für KI benötigte Hardware herstellen: Chips. Ein sehr spannendes Unternehmen, das wir kürzlich in unsere Portfolios aufgenommen haben, ist Alphawave Semi.

Alphawave Semi ist ein Anbieter von IP (Intellectual Property) für die Entwicklung und Herstellung von Konnektivitäts-Chips. Diese Art von Chips ist essentiell in den Bereichen Cloud Computing und Künstliche Intelligenz, da sie die Kommunikation zwischen Servern, Datenzentren und Endgeräten steuern. Mehr Infos zu Alphawave Semi und eine Einschätzung des 10xDNA Research Teams zur Positionierung im Markt findet ihr hier.

Ein weiteres Unternehmen aus den 10xDNA-Portfolios, das immer wieder mit KI in Verbindung gebracht wird, ist Palantir. Und auch wenn Palantir keine eigene KI entwickelt, spielt es dennoch eine große Rolle in diesem Bereich – man könnte es vereinfacht als “KI-Betriebssystem” bezeichnen. Es ermöglicht seinen Kunden, bestehende Daten zusammenzuziehen und durch KI effektiv zu nutzen.

Letzte Woche waren Mario Lochner und Sinan Krieger für ein Interview bei uns zu Gast im schönen Bonn – es ging um die 10xDNA Fonds, die Bankenkrise und meine Lieblings-Aktien:

Ethereum und Bankenregulierung

Anlässlich der jüngsten Ereignisse rund um SVB und Credit Suisse ein kurzer (optimistischer) Appell an unser Finanzsystem:

Lasst uns die Regulierung reformieren!

Über die Ethereum Plattform (Dezentral & Smart-Contracts) könnte die Kontrolle unseres bestehenden Finanzsystems in Echtzeit durchgeführt werden. Die Bankenaufsicht hätte alle Sicherheiten, Assets und sonstige Verpflichtungen der Institute in Echtzeit vorliegen und könnte diese regelbasiert überwachen. Somit wären z.B. die kurzfristigen Liquiditäts-Probleme der SVB deutlich früher aufgefallen. Noch wird der Zustand einer Bank analog und zu Stichtagen überprüft - viel zu selten, oft viel zu spät und anfällig für Fehler. Das ergibt einfach keinen Sinn mehr. Ich hoffe, wir reformieren hier schnell, mutig und konsequent…die Hoffnung stirbt zuletzt ;-)

Women on Top in Düsseldorf

Letzte Woche waren Nathalie und ich auf dem Women On Top Event in Düsseldorf. Hier geht es nicht ums Gendern oder exklusive Frauen-Clubs, sondern darum, dass Frauen und Männer sich treffen, um gemeinsam Frauen zu feiern und zu stärken. Vivien Wulf hat mal wieder mit viel Liebe für jedes Detail & Passion ein wirklich großartiges Event veranstaltet.

Die Co-Veranstalter Nena Brockhaus & Franca Lehfeldt haben kürzlich ihr neues Buch veröffentlicht, dass direkt auf die Spiegel-Bestseller-Liste einstieg: Alte weise Männer.

Hier der Buchrücken-Text:

“Es war einmal eine Welt ohne Genderstern, ohne Twitter-Shitstorm und ohne belehrende Zeigefinger. Das war Deutschland, bevor ein moralisierender Zeitgeist über das Land rollte. Die Modernisierungen der vergangenen Jahrzehnte haben manchen Muff vertrieben, aber auch einen Preis gefordert. Denn Tugenden wie Leistungswille, Opferbereitschaft, Pflichterfüllung und Disziplin scheinen auf dem Rückzug.”

Was ist eure Meinung zu dem Buch & freut ihr euch schon darauf, mit Copilot zu arbeiten? Ich freue mich wie immer auf eure Meinungen und euren Input in den Kommentaren.

Empfehlungen

#Buch: Hidden Systems

Strom, Wasser, Internet – Wir sind umgeben von Systemen, die wir nicht sehen und die für uns trotzdem selbstverständlich sind. In “Hidden Systems" setzt sich Dan Hott mit dieser für uns wichtigen Infrastruktur in Comic-Form auseinander. Er erklärt, wie die Systeme funktionieren, was dahinter steckt und welche gesellschaftlichen Auswirkungen es hat, wenn sie ausfallen.

#Podcast: Naval Ravikant und David Deutsch in der Tim Ferris Show

In der neusten Folge von Tim Ferris’ Podcast “The Tim Ferris Show” sprechen Naval Ravikant (in meinen Augen einer der wichtigsten Thoughtleader) und David Deutsch über die Zukunft von Artificial General Intelligence. Sehr empfehlenswert!

#Podcast: Bankless: We’re All Gonna Die with Eliezer Yudkowsky

Bei all dem Excitement über die rasante Entwicklung von Künstlicher Intelligenz hier mal eine dunkle Seite von KI, die zum Nachdenken anregt. Aber Achtung! Das ist wirklich keine leichte Kost.

Auch als großer Befürwörter von technologischem Fortschritt und KI hat mich dieser Ausflug in eine dunkle KI-Dystopie sehr bewegt. Ich bin gespannt auf eure Gedanken hierzu!

#Tool: ChatGPT API

Bislang konnte ChatGPT nur auf Trainingsdaten bis September 2021 zugreifen und lebte somit 2 Jahre in der Vergangenheit. Seit gestern können Entwickler nun ihre Anwendungen in ChatGPT integrieren und dem Chatbot so Zugriff auf externe Daten und Dienste wie Live-Events, mathematische Lösungsprogramme wie Wolfram Alpha oder andere Schnittstellen ermöglichen. Damit könnte ChatGPT schon bald beliebige Aktionen im Internet und der Umwelt ausführen, wie zum Beispiel eine Reise buchen, Produkte bestellen, Spreadsheets bearbeiten, Kunden kontaktieren und vieles mehr. In den nächsten Wochen wird sich zeigen, welche Services hieraus entstehen werden.