09/10/2024
🎙️BM130: LangChain, RAG i wektorowe bazy: ciemna strona prototypowania AI.
👉 https://www.youtube.com/watch?v=7SWnHtGgDw8
Dzisiaj skupimy się na wdrażaniu ML na produkcję. Omówię trzy kluczowe kwestie:
1️⃣ Paradoks danych, zwykle zgadzamy się, że dane są ważne, ale często nie poświęcamy im tyle uwagi, ile potrzebują.
2️⃣ Przesadna koncentracja na narzędziach, owszem narzędzia są ważne, ale nie najważniejsze.
3️⃣ Cechy dobrego projektu na produkcję. Powinien być wiarygodny, kontrolowany, audytowalny i łatwy w naprawie błędów.
Opowiem Ci trzy historie projektów DataWorkshop, aby lepiej pobudzić Twoją wyobraźnie na przykładach. Pamiętaj, że w większości przypadków (80-90%) ML nie działa, ponieważ popełniane są podstawowe błędy. W przypadku LLM te problemy tylko się nasilają.
Historia pierwsza - "Mentor"
Organizacja zajmuje się mentoringiem w obszarze IT, skupiając się na wiedzy organizacyjnej, menedżerskiej i liderskiej. Obecnie zapraszani są eksperci, którzy prowadzą warsztaty. Są pewne wyzwania: ciężko jest to uspójnić, bo różni eksperci prezentują wiedzę w inny sposób i co jeszcze jest Trudności ze znalezieniem praktyków, bo znalezienie i zaangażowanie zapracowanych ekspertów jest trudne.
Pojawił się pomysł, aby ocyfrować wiedzę i częściowo zautomatyzować mentoring przy pomocy AI. Czy to w ogóle możliwe?
Historia druga - "Egzamin"
Drugi projekt nazwijmy "Egzamin". W szkole zawodowej uczniowie zdają egzaminy, aby zdobyć kwalifikacje. Celem projektu jest stworzenie asystenta AI, który zdałby ten egzamin. Dlaczego to istotne? Zdając egzamin, asystent udowodniłby, że rozumie daną branżę. Można go by potem rozwijać, aby podpowiadał i prognozował. Klasyczne uczenie maszynowe i LLM mogą tu współdziałać. LLM może posiadać ogólną wiedzę zdobytą w procesie uczenia, a klasyczne algorytmy ML mogą prognozować wartości, np. popyt.
Historia trzecia - "Helpdesk"
Trzecia projekt nazwijmy "Helpdesk", projekt, w którym zachowanie poufności jest kluczowe. Nie mogę zdradzać szczegółów branży. W skrócie, chodzi o wykorzystanie LLM do stworzenia chatbota obsługującego bazę wiedzy i odpowiadającego na pytania użytkowników.
Będzie więcej o czymś, co nazwałem jako paradoks danych.
Zwykle wszyscy zgadzają się, że dane są ważne, ale w praktyce rzadko poświęca się im wystarczającą uwagę. Nazywam to paradoksem danych. Zgoda na to, że dane są ważne, nie wystarczy. Potrzebne są konkretne działania. Bez jasnych reguł zarządzania jakością danych, wdrożenie ML jest skazane na porażkę.
Na koniec odcinka też odpowiadam na pytania:
1. Jakie są najczęstsze błędy firm, które próbują wdrożyć AI (główny mit)?
2. Jakie są największe wyzwania związane z modelami LLM przy wdrażaniu je na produkcję?
3. Jakie praktyczne wskazówki mam dla Ciebie, aby wdrożyć AI w swojej firmie?