KI in der freien Wildbahn

[Azazyel]

Insofern frage ich mich gerade, wo Du hin willst bzw. was Du sagen willst.

Allein aufgrund der ökonomischen Zwänge im Spätkapitalismus wird die KI allerorten eingesetzt werden, selbst da, wo sie mehr schadet als nutzt. Auch um den Preis des Kontrollverlusts an einzelnen Stellen.

Es muss ja nicht immer gleich Skynet sein.

Ich will natürlich nichts ausschließen, aber ich würde da erst mal noch die weitere Forschung abwarten.

Dito.

In Anbetracht der Tatsache, dass wir schon in der Vergangenheit mit emergent abilities an unterschiedlichsten Punkten der gesteigerten Parameterzahl gesehen haben, glaube ich nicht an das Ende dieser Entwicklung. Mit aktuell 671 Milliarden Parametern (oder wo auch immer aktuell die Obergrenze liegt) ist das Ende der Fahnenstange vermutlich noch nicht erreicht.

Das wird aber nur die Zeit zeigen...

Ist halt die Frage, inwieweit das im Augenblick vielleicht nur eine Folge des Hypetrain ist.

Mit Sicherheit spielen dort

• die ökonomische Lage
• die tatsächliche Produktivitätssteigerung (die man halt aktuell auch nicht in neue Projekte/Produkte investiert) und
• der Hype

zusammen rein.

Ein grundsätzlicher Bedarf an Programmierern ist also nach wie vor gegeben.

Die Nachfrage nach (günstigen) Seniors ist ja auch nach wie vor vorhanden. Man sieht schon noch einige Stellenausschreibungen für Senior Developer, Lead Developer, Software Architect u.ä. Positionen.

Die Programmierer die da sind werden durch KI-Tools mit einem Schlag produktiver und schaffen in der gleichen Zeit mehr. Logischerweise sinkt dann erst mal der Bedarf. Und das Junior-Developer besonders betroffen sind, wundert mich auch nicht. Programmieren ist ein Handwerk das sehr von Erfahrung lebt. Und wie ich gerade sagte, profitiert man am meisten von KI-Tools wenn man weiß, was man tut. Erfahrung ist aber genau das, was ein Junior-Developer eher nicht hat.

Korrekt. Die Pipeline an Juniors bricht momentan ziemlich ein.

An den hier ansässigen Hochschulen satteln aktuell viele Studenten um, weil fast komplette Informatik- und Software-Engineering-Jahrgänge in die Arbeitslosigkeit gehen.

Die Fachhochschüler haben sogar Probleme, ihre Pflichtpraxissemester zu absolvieren, weil die Unternehmen nicht mal Werkstudenten nehmen.

Selbst die sonst eher schwer unterkommenden BWL-Absolventen sind besser dran, während frisch examierte Juristen trotz der Rezession vergleichsweise einen Boom erleben.

Wie sich das langfristig auswirkt, muss man gucken. Wir hatten ja jetzt schon in den letzten Jahren viele Neuerungen die die Produktivität erhöht haben und z.B. uns auch ermöglicht haben, komplexere Programme zu schreiben. Und allein die ability komplexere Programme zu schreiben, hat ja dann auch dazu geführt, das zu tun, was den gewonnenen Zeitvorteil dann auch gern mal wieder aufgefressen hat.

Es bleibt spannend. Günstigere Softwareentwicklung kann ja auch dazu führen, dass in Summe mehr Software geschrieben wird, weil einfach viele Prozesse zu den bisherigen Preisen nicht wirtschaftlich digitalisiert werden konnten.

Zudem ist in dem KI-Bereich sehr viel Bewegung drin. Kommt ja quasi jede Woche ne neue Meldung raus, was KI jetzt alles kann und was damit realisiert wurde usw. Wenn ich Arbeitgeber wäre, würde ich auch überlegen: "Stell ich jetzt jemanden ein, den ich ja auch erst mal anlernen muss und all die weiteren Reibungsverluste die man anfänglich eben so hat und denn ich dann aber nächstes Jahr vielleicht nicht brauche, weil es dann wieder irgendwas Neues gibt, was den überflüssig macht?" Da wäre ich auch eher zurückhaltend mit Neueinstellungen und würde zunächst mit den Leuten weiter wurschteln, die ich bereits habe.

Sehr gut beschrieben; genau das kann man momentan auf dem Arbeitsmarkt beobachten.

Wir laufen auch Gefahr, den nächsten Schweinezyklus zu erleben, weil die Pipeline an Nachwuchskräften momentan eben zum Erliegen kommt.

Und ja. Die KI wird sich in den nächsten Jahren verbessernd und wird sicherlich nicht schlechter werden.
Aber seriös vorherzusagen, wieviel Programmierer wir z.B. in 5 Jahren brauchen werden, das halte ich für schwierig.

Das würde ich mir auch nicht anmaßen - ich bin bei der Prognose der Zukunft genauso schlecht wie alle anderen.

 

[pit234a]

Allein aufgrund der ökonomischen Zwänge im Spätkapitalismus wird die KI allerorten eingesetzt werden, selbst da, wo sie mehr schadet als nutzt.

als jemand, der ein Leben lang beruflich mit Menschen zu tun hatte, möchte ich mal sagen, das ich sehr viele "menschliche Arschlöcher" erlebt habe und auch heute noch erlebe. Passt man nicht in das Profil eines Sachbearbeiters, wird man schon mal abgekanzelt, ohne dass sachliche Gründe dafür vorliegen.
So gesehen kann ich eigentlich kaum erwarten, dass eine ganze Reihe von Jobs von neutralen KIs ausgefüllt werden.

Genau da liegt aber doch ein Problem: wer bewacht die Wachen?
Schaffen wir uns am Ende "künstliche Arschlöcher", die keinen Deut besser sind und womöglich eine ganz eigene Arroganz entwickeln?

 

[Aldo]

Was das VRam angeht haben Macs einen echten Vorteil.

Oh ja! Habe hier ein 14" MacBook Pro M4 Max mit 64 GB Ram (das "dicke" mit den 40 GPU-Cores).
Also quasi auch mit 64 GB VRam.
Damit läuft Ollama mit Gemma3:27b.
Kann man im Terminal laufen lassen, mittels Browser und der Erweiterung 'Page Assist' oder auch mit 'AnythingLLM'.
AnythingLLM bietet den Vorteil, dass man auch Dokumente einbinden kann und Ollama so lokal auch lernfähig ist.
Ich muss sagen, das ist schon krass was so ein lokales LLM (vollkommen Offline, ohne Internet) leisten kann.
Je nach Modell ist es super schnell (Gpt-Oss:20b) mit 70 Tokens/sec, oder super präzise und ausführlich (Hermes3:70b, ca. 15 Tokens/sec).
Am ausgewogensten finde ich Gemma3:27b, das macht so 20 Tokens/sec, ist ausführlich und weiß auch ziemlich viel.
Man hat offline quasi immer eine Wikipedia dabei, kann PDFs zusammenfassen und Bilder analysieren lassen.
Mit entsprechendem System-Prompt auch einen Chat-Bot basteln. Schon krass was da so geht.
Genial ist (als grobes Beispiel: "Schreibe mir ein Bash-Script, welches dieses oder jenes erledigt, zig-tausend Files analysiert, sortiert und und in dieses oder jenes Format umwandelt, inc. einer Zusammenfassung was die Files enthalten."
Einfach mal ausprobieren.
Oder man ist irgendwo im Schwarzwald ohne WLAN, Internet oder Handy-Netz: "Gib mir mal das Rezept von 'Saltimbocca alla Romana', ich habe aber nur einen Campinggaskocher und keinen Strom, wie kann ich das trotzdem zubereiten?", funktioniert perfekt.

Ollama

Search for models on Ollama.

ollama.com

GitHub - n4ze3m/page-assist: Use your locally running AI models to assist you in your web browsing

Use your locally running AI models to assist you in your web browsing - n4ze3m/page-assist

github.com

AnythingLLM | The all-in-one AI application for everyone

AnythingLLM is the AI application you've been seeking. Use any LLM to chat with your documents, enhance your productivity, and run the latest state-of-the-art LLMs completely privately with no technical setup.

anythingllm.com

Edith sagt, man sollte auch erwähnen, dass ein MacBook Pro M4 Max dabei auch Hölle-Laut werden kann.

 

[Yamagi]

Bildgeneratoren sind auch ein schönes Spielzeug. So ein richtiges Wurmloch, in dem man sich wunderbar verlieren kann, wenn man mal angefangen hat. Es geht mit Modellen los, dann kommen LoRas, irgendwann entdeckt man ControlNets, etc. Alleine dafür haben sich die 750€ für die 9070 XT gelohnt, denn mit den 16 GB VRAM kann man schon echt viel machen.

Allerdings nehmen die Modelle einen häufig absolut wörtlich. "Beastie the BSD daemon using his fork to rescue Dennis Nedry from a horde of dinosaurs":

 

[Andy_m4]

Schaffen wir uns am Ende "künstliche Arschlöcher", die keinen Deut besser sind und womöglich eine ganz eigene Arroganz entwickeln?

Sagen wir mal so.
Alles was so an Verhalten, Vorurteilen usw. in den Trainingsdaten enthalten ist, spiegelt sich dann natürlich auch in den (Sprach-)modellen wider.
Wenn man das vermeiden will, kann man natürlich dem Modell sagen: "Sei lieb" oder man macht es durch das Training und die Auswahl der Trainingsdaten.
Meine Sorge ist allerdings weniger, das das Modell arrogant wird.
Sondern welchen Einfluss es auf viele Menschen haben wird. Insbesondere in Hinblick dessen, das KI-Systeme immer häufiger benutzt werden um daraus Wissen und allesmögliche beziehen. Bisher hat man über Suchmaschinen halt gesucht, wo das Wissen steht. Und auch da gabs natürlich schon Einflussnahme in der Weise, welche Trefferlinks angezeigt werden und auch wie weit vorne die platziert sind.

In Zukunft hast Du vermutlich nicht mal mehr das. Das neue Interface zum Internet ist die KI. Und die Menschen nehmen halt nur noch das, als die KI ihnen liefert. Damit hat der KI-Betreiber noch größere Einflussmöglichkeiten.
Und noch ist der Markt sehr divers. Aber es steht ja zu befürchten, das wie bei anderen Internet-Dingen auch, es zu einer Marktkonzentration und damit auch zu einer Machtkonzentration kommt.

Und wie stark der Einfluss sein kann, sieht man ja jetzt auch schon an anderen Technologien. Beispiel Navi, wo die Leute den Ding blind folgen selbst wenn es ein Umweg ist.

Und wenn dann gefragt wird: "Ich will ein Bild aufhängen. Wie mache ich das?" die KI dann sagt: "Du musst ein Loch in die Wand bohren und da ein Haken einschrauben und übrigens: Ich würde Dir dafür den Bosch Bohrhammer empfehlen und Fischer-Dübel. Soll ich die gleich für Dich bestellen?" Wie viele werden dann einfach auf "Ja klar" klicken.

Aber auch politische Ansichten und Weltbilder können über KI-System subtil transportiert werden. Und das die Betreiber darauf Einfluss nehmen sehen wir ja heute schon.

 

[Andy_m4]

Am ausgewogensten finde ich Gemma3:27b,

Hast Du auch Erfahrungen mit Llama-4 Scout und falls ja, wie würdest Du dessen Leistung im Vergleich bewerten?

 

[Aldo]

Ich hatte mal eine Weile mit Llama3.3:70b rumgespielt.
Das war aber sehr langsam. Es gab noch einige andere Gründe, weiß nicht mehr konkret welche), die mich dann doch zu Gemma3 getrieben haben.
Llama4 ist mit 67 GB in der "kleinen" Version etwas zu groß für mein Macbook und passt nicht mehr komplett in den Grafikspeicher, läuft also (bei mir) nicht.

llama4

Meta's latest collection of multimodal models.

ollama.com

 

[Andy_m4]

Allein aufgrund der ökonomischen Zwänge im Spätkapitalismus wird die KI allerorten eingesetzt werden, selbst da, wo sie mehr schadet als nutzt. Auch um den Preis des Kontrollverlusts an einzelnen Stellen.

Achso. Ja. Jetzt hab ich Dich da auch richtig verstanden.
Und ja, dem würde ich zustimmen.

Es muss ja nicht immer gleich Skynet sein.

Ja. Wobei ich solch ein "breaking bad" als Szenario ja ohnehin nicht als wahrscheinlich angesehen habe.

Die Nachfrage nach (günstigen) Seniors ist ja auch nach wie vor vorhanden. Man sieht schon noch einige Stellenausschreibungen für Senior Developer, Lead Developer, Software Architect u.ä. Positionen.

Ja eben.
Aber Dein Beitrag (zumindest hab ich ihn so gelesen):
Wir haben (jetzt oder sehr zeitnah) eine richtig tolle KI
und als Beleg dafür: Sieht man ja schon daran, das keiner mehr Junior-Developer einstellt.

Und mein Einwand war an der Stelle, das dieser "Beleg" gar nicht das Zeug dazu hat, die Aussage zu belegen, weil eben viele andere Faktoren reinspielen.

An den hier ansässigen Hochschulen satteln aktuell viele Studenten um, weil fast komplette Informatik- und Software-Engineering-Jahrgänge in die Arbeitslosigkeit gehen.

Du hast ja auch auf höherer Ebene generell ein Problem.
Weil wieviele werden nicht wissen, was sie jetzt für eine Ausbildung machen sollen. Mal eine Ausbildungszeit von 2 bis 3 Jahren unterstellt: Wer weiß, ob der Job da noch benötigt wird.

Das Problem allein der Lernmotivation hast Du ja schon in der Schule. Und das war jetzt schon nicht einfach die Schüler zu motivieren etwas zu lernen, was sie problemlos auch bei Wikipedia nachschlagen können.
Und mit KI kommt jetzt noch ein Tool, das man nicht nur nach Wissen fragen kann, sondern das einem auch noch zeigt/sagt, wie man es anwendet.

Wir laufen auch Gefahr, den nächsten Schweinezyklus zu erleben, weil die Pipeline an Nachwuchskräften momentan eben zum Erliegen kommt.

Na dann kann man endlich mal wieder rumjammern: "Fachkräftemangel1!!! Warum tut denn keiner was???!?"

 

[Andy_m4]

Das war aber sehr langsam.

Das hatte noch keinen Mixture-of-Experts, weshalb unabhängig von der Anfrage immer alle Parameter aktiv waren. Und das ist dann sehr rechenintensiv.

passt nicht mehr komplett in den Grafikspeicher, läuft also (bei mir) nicht.

Muss es ja auch nicht zwangsläufig?!

 

[Aldo]

Muss es ja auch nicht zwangsläufig?!

Mein Macbook hat "nur" 64 GB Ram. Also insgesamt. Das Modell mit 67 GB ist halt zu groß. Es muss ja irgendwie überhaupt in irgendeinen Speicher passen.
Zumindest läuft es auf meinem Macbook nicht.

 

[Andy_m4]

Es muss ja irgendwie überhaupt in irgendeinen Speicher passen.

Theoretisch kann man ja den Rest über Swap abbilden. Will man zwar i.d.R. nicht, aber kann trotzdem (für Testzwecke) brauchbar funktionieren.

 

[Azazyel]

Und mein Einwand war an der Stelle, das dieser "Beleg" gar nicht das Zeug dazu hat, die Aussage zu belegen, weil eben viele andere Faktoren reinspielen.

Ich habe mich missverständlich ausgedrückt: weil man vielerorts glaubt, dass man aufgrund der KI keine Juniors mehr braucht, werden auch keine eingestellt.

Bis man auf breiter Basis realisiert, dass dem wohl nicht so ist, vergehen vermutlich Jahre.

Du hast ja auch auf höherer Ebene generell ein Problem.
Weil wieviele werden nicht wissen, was sie jetzt für eine Ausbildung machen sollen. Mal eine Ausbildungszeit von 2 bis 3 Jahren unterstellt: Wer weiß, ob der Job da noch benötigt wird.

Verständlicherweise setzen viele junge Leute da lieber auf solide Jobs, die Stand heute kaum gefährdet und weniger zyklisch sind.

Das Problem allein der Lernmotivation hast Du ja schon in der Schule. Und das war jetzt schon nicht einfach die Schüler zu motivieren etwas zu lernen, was sie problemlos auch bei Wikipedia nachschlagen können.
Und mit KI kommt jetzt noch ein Tool, das man nicht nur nach Wissen fragen kann, sondern das einem auch noch zeigt/sagt, wie man es anwendet.

Zumal bei vielen Jobs der Abstand zum unverschämt niedrigen Bürgergeld inzwischen so klein ist, dass sich die junge Generation - verständlicherweise - denkt: Warum 40h+ die Woche für ein bisschen mehr Kohle als Bürgergeld malochen, wenn ich so oder so nur Grundsicherung im Alter bekomme?

Na dann kann man endlich mal wieder rumjammern: "Fachkräftemangel1!!! Warum tut denn keiner was???!?"

In meiner Heimatstadt mit einem ziemlich durchschnittlichen Lohn- und Lebenshaltungskostenniveau gibt es auch einige IT-Firmen, die sich beschweren, für 50k€ Jahresgehalt keine Seniors zu bekommen.

 

[Aldo]

Theoretisch kann man ja den Rest über Swap abbilden. Will man zwar i.d.R. nicht, aber kann trotzdem (für Testzwecke) brauchbar funktionieren.

Kann man machen, ist dann aber unendlich langsam, was es unendlich unbrauchbar macht.
Deshalb habe ich es aufgegeben und nutze nur Modelle, die komplett in das Ram passen.

 

[Azazyel]

Deshalb habe ich es aufgegeben und nutze nur Modelle, die komplett in das Ram passen.

Sofern man eine dedizierte GPU hat, bietet sich insbesondere mit Consumer-GPUs (d.h. aktuell maximal 24 GB VRAM) der Hybrid Mode an, der VRAM und RAM auf die bestmögliche Art kombiniert. Damit kann man auf bezahlbarer Hardware auch große LLMs mit vernünftiger Geschwindigkeit betreiben.

 

[Aldo]

Das streite ich ja nicht ab.
Die aktuellen Macs haben aber 'Unified Ram', was sowohl als VRam als auch als Ram in voller Größe genutzt werden kann.
Da ist bei mir nunmal bei 64 GB Schluss, größere Modelle laufen halt nicht.
Ist mir aber auch Wurst, probier doch mal Gemma3:27b, Hermes3:70b oder qwen3:32b aus, die kommen mit 64 GB sehr gut aus.
Gemma3 ist dabei mein Favorit, obwohl GPT-OSS mehr als doppelt so schnell ist. Gemma3 liefert (für mich) halt die besseren Ergebnisse.

 

[Andy_m4]

obwohl GPT-OSS mehr als doppelt so schnell ist. Gemma3 liefert (für mich) halt die besseren Ergebnisse.

Ich finde gpt-oss eigentlich ganz überzeugend. Allerdings beziehe ich mich dabei auf die 120b-Version.
Aber ja. Hängt natürlich davon ab, was man haben will und welche Hardware man zur Verfügung hat.

 

[Aldo]

Ich finde gpt-oss eigentlich ganz überzeugend. Allerdings beziehe ich mich dabei auf die 120b-Version.
Aber ja. Hängt natürlich davon ab, was man haben will und welche Hardware man zur Verfügung hat.

Hätte ich 1000,- mehr für mein Macbook ausgegeben und das 128 GB Ram-Modell geholt, dann würde das bei mir auch laufen. ;-)
Oder ein Mac Studio mit 96 GB Ram zum selben Preisen meines MacBooks.
Aber ich wollte ja was mobiles, "bezahlbares", dafür muss ich nun halt Abstriche machen. ;-)

 

[Andy_m4]

Hätte ich 1000,- mehr für mein Macbook ausgegeben und das 128 GB Ram-Modell geholt, dann würde das bei mir auch laufen. ;-)

Ja. Ich verstehe die Problematik.
Ich hatte noch Glück mich vor so eineinhalb Jahren mit RAM einzudecken, als der noch relativ günstig war.
Dann ist Laptop natürlich eh tendenziell teurer und beim MacBook kommt auch noch die Apple-Steuer dazu.

Aber ich wollte ja was mobiles, "bezahlbares", dafür muss ich nun halt Abstriche machen. ;-)

Das verstehe ich absolut.

 

[mr44er]

dafür muss ich nun halt Abstriche machen. ;-)

Vielleicht ist quantization der weniger schlimmer Abstrich als Verzicht.

Quantization | How-to guides

Quantization is a technique used in machine learning to reduce the computational and memory requirements of models, making them more efficient for deployment on servers and edge devices.

www.llama.com

Llama 4 Quantized - a RedHatAI Collection

Quantized variants of the Llama 4 release by Meta.

huggingface.co

 

[Aldo]

Nein.
Nach meiner bescheidenen Erfahrungen mit quantisierten Modellen sind die sehr ungenau und neigen extrem zum fabulieren oder phantasieren. Auch reden sie dann wirr, soll heißen, sie benutzen falsche Verben oder Begriffe. Für meine Zwecke leider unbrauchbar.

 

[mr44er]

Ich hab damit noch nicht viel gemacht, für die Zwecke des Ausschmückens eines Prompts zur Bildgenerierung und des Bildmodels selbst hab ich jedoch mit int8 gute Erfahrungen gemacht und keine Nachteile bzw. schlechtere Ergebnisse gesehen. Zumindest bei qwen3 nicht, aber vermutlich merkt man es beim direkten LLM-"Gespräch" eher.

 

[Andy_m4]

Nach meiner bescheidenen Erfahrungen mit quantisierten Modellen sind die sehr ungenau und neigen extrem zum fabulieren oder phantasieren.

Kommt ein bisschen aufs Modell an und wie stark man quanitisiert. Tendenziell - so mein Eindruck - je Größe das Modell je weniger weh tut Quanitisierung.

mit int8 gute Erfahrungen gemacht und keine Nachteile bzw. schlechtere Ergebnisse gesehen.

Das deckt sich auch mit meinen Erfahrungen. Man hat teilweise drastische Speicherplatzgewinne und merkt aber kaum was in der Qualität.

 

[mr44er]

Man hat teilweise drastische Speicherplatzgewinne und merkt aber kaum was in der Qualität.

Ein Bild mit gleichem seed und prompt jeweils mit, jeweils ohne int8 ist so marginal anders, dass man es auf die Codeckompression des Bildes schieben könnte aka wenn man es nicht wüsste, es aber auch nicht auffiele.
Fertig quantisierte Modelle habe ich allerdings nicht benutzt, immer selbst on the fly. Vielleicht liegt es auch daran.

 

[Andy_m4]

Fertig quantisierte Modelle habe ich allerdings nicht benutzt, immer selbst on the fly. Vielleicht liegt es auch daran.

Die Modell-Hersteller quantisieren ja aus Ressourcengründen teilweise selbst schon ihr Modell von Haus aus. Beispielsweise das gpt-oss ist ja u.a. deshalb so schnell und ressourcenschonend, weil das ab Werk schon selektiv quantisiert ist.

 

[midnight]

Ich habe hier einen interessanten Bericht ueber "KI und das Risiko einer kognitiven Atrophie" gelesen. Das sind vermutlich die Kehrseiten der KI. Die Langzeitfolgen durch permanente verwendung von KI sind noch nicht erfoscht. Das Gehirn arbeitet effizient und will Energie sparen. Wenn ich immer mehr Aufgaben an die KI auslagere, befuerchte ich, dass meine Gehirnleistung in diesem Bereich irgendwann nachlässt. Die Nervenverbindungen im Gehirn werden größer und leichter zugänglich, wenn sie oft benutzt werden. KI ist die Zukunft, keine Frage. Aber ihre langfristigen Auswirkungen auf uns Menschen sind noch nicht erforscht.