ChatGPT und ähnliche Tools

    Dazu ist eine Studie von Anthropic interessant:

    Unabhängig von der Anzahl der Parameter von einem LLM, genügt eine geringe Anzahl an manipulierter Dokumente, um eine Hintertür in das trainierte Modell einzubauen. Vorher ist man davon ausgegangen, dass man massig viele falsche Daten benötigt, um während des Trainings das LLM negativ zu beeinflussen.

    https://www.anthropic.com/research/small-samples-poison


    Das Beispiel des Youtubers ist übrigens anders gelagert, weil die Google KI Vorschläge vermutlich nicht durch ein neues Training zu Stande gekommen sind, sondern durch das Durchsuchen einer gigantischen Vektor DB, dessen Inhalte dann vom LLM zusammengefasst werden.

    Momentan bekomme ich aber auch echt gefühlt mehr Müll in den Antworten, als noch zum Start bestimmter Versionen bekannter Modelle ...

    • Neu

    Externer Inhalt www.youtube.com
    Inhalte von externen Seiten werden ohne deine Zustimmung nicht automatisch geladen und angezeigt.
    Durch die Aktivierung der externen Inhalte erklärst du dich damit einverstanden, dass personenbezogene Daten an Drittplattformen übermittelt werden. Mehr Informationen dazu haben wir in unserer Datenschutzerklärung zur Verfügung gestellt.


    Zeigt knapp und gut verständlich erklärt, so wie man das in einem kurzen Video erklären kann, wie LLMs aktuell funktionieren. Wie cool die Technologie ist, aber aus meiner Sicht eben auch, warum man Ihr aktuell immer noch zu viel zutraut.

    • Neu

    Da wandern halt wieder Unsummen an Steuergeldern in die Hände von ein paar Superreichen und nebenher leidet die Umwelt und das Klima. Das ist doch nun einmal dieser Kapitalismus den alle so geil finden. War doch nie anders. Aber hey, es ging uns noch nie so gut wie heute. :victory:

    • Neu

    Ich sehe diesen Kommentar deutlich zu negativ. Ja, es wird noch (sehr) lange dauern bis die Investitionen zu einem ROI führen werden. Und auf dem Weg dorthin wird sich der KI-Markt konsolidieren und es werden viele angedachte KI-Rechenzentren nicht gebaut werden und wieder andere den Besitzer wechseln.


    Und auch die Unternehmen merken so langsam, dass die Werbeversprechen* der KI-Unternehmen eben nur Werbeversprechen waren und eben nicht direkt so viel Personal eingespart werden kann. Oder aber bereits "eingesparte" Stellen doch wieder neu ausgeschrieben werden müssen.

    KI wird viele Prozesse vereinfachen und insbesondere zeitaufwendige Verwaltungs- und einfache Kontrollaufgaben automatisieren und Nachkontrollaufgaben verringern - damit haben die Angestellten dann auch mehr Zeit sich um die wichtigeren Dinge zu kümmern. Dazu wird dann aber auch kein LLM genutzt werden, sondern deutlich effizientere, kleinere KI-Modelle, die explizit auf ihre Tätigkeiten trainiert worden sind.

    Weiterhin wird KI in Unternehmen das machen was solche Algorithmen am besten können: große Datenmengen analysieren und zum Teil auch noch unbekannte Zusammenhänge finden, auf die ein Mensch nicht ohne weiteres kommen werden.

    Wenn LLM genutzt werden, dann werden RAG implementiert werden um Halluzinationen und Fehlaussagen zu verringern und auch erläutern zu können wieso Ausgabe so ist wie sie ist (Stichwort Trustworthy AI).


    In den nächsten Jahren gehe ich davon aus, dass die derzeitigen Fähigkeiten weiter geschärft und immer weiter in die Gesellschaft integriert werden. Mit allen Vor- und Nachteilen. Große Sprünge erwarte ich vorerst noch nicht. Da halte ich es mit Prof. Usbeck vom der Leuphana, dass es mit den aktuellen Programmierkonzepten, Frameworks und auch der zur Verfügung stehenden Hardware jetzt schon an Grenzen gestoßen wird.


    Ein platzen der "Blase" halte ich für durchaus möglich. Die Frage ist jedoch welche Auswirkungen das haben wird und ob die Aktienkurse wirklich auf Fundamentals beruhen (werden).



    * "Buchhalter können bald wegrationalisiert werden." - Wieso eigentlich, die gibt es doch ohnehin nicht mehr, das wurde doch schon bei der Einführung des IBM kompatiblen PC-Systems prognostiziert.

    • Neu

    Ich sehe Deinen Kommentar hingegen zu positiv ... :) Arbeit die eine KI für den Menschen übernehmen kann und die nicht noch einmal gründlich auf Korrektheit geprüft werden muss, was dann auch wieder Ressourcen bindet, nur anders, sollte eher auf Notwendigkeit geprüft werden, sonst ist der Gewinn von Produktivität kein echter Gewinn der die AI bringt (wir können auch zwei AI Programme miteinander Emails schreiben lassen und dann ein Benchmark drüber legen und uns freuen wieviel Produktivität wir gewonnen haben).


    Und die Technik steckt schon recht früh in einer Sackgasse und AI ist halt das Schlagwort für etwas wo keine echte AI drin ist. Es ist im Grunde ein ausgefuchster Wahrscheinlichkeitsrechner für Muster ...

    • Neu

    Ich kenne schon den ein oder anderen Prozess, der mit Hilfe von KI deutlich beschleunigt werden konnte. Es sei es durch automatische Kategorisierung (insb. bei unstrukturierten Dokumenten) über das Herausfiltern von false positive Meldungen im Fraud bis hin zur Vollständigkeits- und Plausibilitätsprüfungen. In allen Fällen notwendige Verarbeitungen


    Klar, 80 % dieser Regeln könnte man auch durch klassische Algorithmen und Expertensysteme formulieren, Machine Learning ist dort aber von der Geschwindigkeit, vom finanziellen Aufwand und auch von der Zeit bis ein sehr gut nutzbares System deployt werden kann kaum zu schlagen.