Sinnvolle lokale Ausführung von KIs sehe ich aktuell noch kritisch bis sinnfrei.
Sagen wir mal so:
Es macht sich gut, spezialisierte und dafür kleinere Modelle zu nutzen. Die bekommt man dann auch in akzeptabler Performance zum laufen.
Generel Purpose Modelle sind meist recht groß und langsam. Und selbst da macht man es aus Performancegründen ja schon eine ganze Weile so, das man die unterteilt, in dem man spezialisierte Modelle kombiniert (Stichwort: Mixture-of-Experts).
Aber ja. In gewisser Weise erzwingen derzeit LLM und Co eine Abhängigkeit. Trotz allgegenwärtiger Cloud kann man immer noch alles irgendwie selber betreiben. Bei dem KI-Krempel ist das anders. Selbst der reine Betrieb fertiger Modelle hat ja schon große Vorraussetzungen. An sowas wie Training etc. ist gar nicht zu denken.
Wir haben ja jetzt schon eine viel zu starke Zentralisierung des Internets. Und LLMs (und vergleichbare Systeme) werden den Effekt noch verstärken.
StackOverflow ist nicht mehr mit Antworten gefüllt, weil da "keiner" mehr fragt.
Ja. Wobei es ja vielleicht auch tendenziell gar nicht so schlecht ist, wenn eine solche Plattform mit Fragen geflutet wird die schon zig mal in allen möglichen Abwandlungen gestellt wurden. Und das da die KIs beliebter sind, liegt auf der Hand. Die ermöglichen eine Echtzeit-Interaktivität, bei der man auch nachfragen stellen kann.
Ich hätte jetzt vermutet, das sich dann bei stackoverflow.com und ähnlichen Plattformen eher Fragen/Antworten aus Bereichen kommen, die eben nicht so verbreitet sind.
Aber klar. Das aufkommen von (sogenannten) KIs ist auf jeden Fall eine Herausforderung für stackoverflow und für Websites im allgemeinen. Weil diese KIs eben immer mehr zum Frontend fürs Internet wird. Man kann das auch sehr schön an der Entwicklung der WebBrowser sehen. Bisher ein Viewer für Websites. Und immer mehr eine LLM-gestützter Aggregator für Internetinhalte.
Das wird also allgemein sehr spannend, wie sich das weiter entwickelt. Weil viele klassische Geschäftsmodelle a-la "Leute besuchen unsere Seite und wir schalten darauf Werbung" dann nicht mehr funktionieren. Möglicherweise ist es in ein paar Jahren so, das es dann Inhalteanbieter gibt die nur noch (kostenpflichtige) APIs anbieten, um maschinlesbar Daten an die LLMs zu schicken. Und die Kunden haben dann ein kostenpflichtiges Abo bei den LLM-Betreibern.
Oder die finanzieren sich dadurch, in dem eingebettet in den Antworten die Werbung platziert wird.
So in der Art wie: "Wenn Du ein Regal an der Wand befestigen willst, musst Du zuerst ein Loch in die Wand bohren. Das bohren geht am besten mit dem Bosch-Bohrhammer 3000 den Du bei Amazon bestellen kannst, wenn Du hier drauf klickst" usw.
Vor allem aber ist es deshalb problematisch, weil Du ja keine Information mehr direkt bekommst ohne das es durch den KI-Filter geht. Den KI-Betreibern kommt deshalb eine noch höhere Macht zu als es die großen Tech-Konzerne wie Google und Co schon ohne dem hatten.
Also so aus Spaß sicherlich nutzbar, aber als lokalen Coding-Assistent will man vermutlich nicht 5-10min auf die Antwort warten.
Ja. Als Coding-Assistent sicherlich unschön. Aber wenns zum Beispiel darum geht, ein Video zu transkribieren und das lange dauert, dann lasse ich das in der Nacht laufen und gut ist.
Schlechte Performance ist nicht immer ein Ausschlusskritierium.
Ja. Wenn ich richtig verstanden hab, ist das in etwa das, was ich schon angedeutet hab:
Also das man auf der fremden Hardware dann doch entschlüsselt und auf den unverschlüsselten Daten arbeitet. Also nix mit "durchgehend verschlüsselt".
Das das im Ergebnis immer noch sicher ist als der LLM-Hoster vom Grabbeltisch, das würde ich und habe ich ja soweit auch schon eingeräumt.
Was man bei dem "man muss den Cloudanbieter vertrauen" ja auch immer beachten muss, das es ja nicht zwangsläufig darum geht, das das grundsätzlich eine bad company ist. Häufig führen ja auch einfach solche Sachen wie Konfigurationsfehler oder ein frustrierter/bestochener/erpresster/eingeschleuster Mitarbeiter Datenschutzproblemen.
Zudem macht man sich ja, wenn man mit Confidential computing wirbt, selbst zur Zielscheibe. Weil die bösen Buben wissen zwar: "Da gibts ein paar Hürden mehr als üblich". Aber die wissen eben auch: "Da werden wir höchstwahrscheinlich auch etwas abgreifen können, was sich wirklich lohnt".
und einen belastbaren Weg zu Monetarisierung sehe ich da noch weniger als bei den großen Anbietern am Markt
Ja. Das wird in der Tat noch spannend werden. Bisher ist es ja so, das es ein Hype ist und man investiert, um dabei zu sein. Ob und wann sich das Ganze auch wirklich lohnt, ist immer noch schwer abzuschätzen.
Vermutlich sehen wir gerade eine Blase die demnächst platzt und dann rüttelt sich alles zurecht und konsolidiert sich. Vielleicht so ähnlich, wie wir das ja auch mit dem Internet (dotcom-Blase) erlebt haben.
Ich spiele seit den ersten guten freien Modellen ca. Anfang 2023 mit lokalen LLMs und muss sagen, dass die Sache 2025 einen gewaltigen Sprung nach vorne gemacht hat. Im Frühjahr 2025 Gemma 3, im Sommer gpt-oss und das ganze Jahr über vor allem Alibaba mit einer erschlagenden Menge kleiner Gwen-Modellen. Dazu eine Unmenge Destillate, Spezialisierungen und so weiter durch die Community. HuggingFace hat inzwischen mehr Modelle, als man realistisch gesehen jemals ausprobieren kann.
