W tym poradniku pokażemy Ci, jak uruchomić własne prywatne AI, podobne do słynnego ChatGPT, ale działające w pełni lokalnie na Twoim komputerze. To rozwiązanie zapewnia pełną prywatność i bezpieczeństwo Twoich danych, które nie są udostępniane żadnym firmom zewnętrznym.
Prywatne AI może być szczególnie przydatne w zastosowaniach biznesowych. Nie każda firma pozwala swoim pracownikom korzystać z publicznych narzędzi jak ChatGPT, głównie ze względu na obawy o poufność informacji. Lokalne wdrożenie AI eliminuje te przeszkody i otwiera nowe możliwości.
Czym jest model AI?
Zanim przejdziemy do instalacji, wyjaśnijmy kluczowe pojęcie - czym właściwie jest model AI? W uproszczeniu, jest to sztuczna inteligencja wytrenowana na ogromnych zbiorach danych. Jednym z najbardziej znanych przykładów jest ChatGPT od OpenAI, ale istnieje wiele innych.
Jeśli czytasz uważnie nasze treści i konsekwentnie poszerzasz z nami swoja wiedzę to zapewne sprawdziłeś już nasz 📕 Słownik AI. Jedną z nazw którą tam znajdziesz jest Hugging Face
Platforma Hugging Face (huggingface.co) to prawdziwa kopalnia modeli AI - znajdziesz tam ponad pół miliona różnych modeli, dostępnych za darmo do pobrania i użycia. Dla naszych celów szczególnie interesujący będzie model Llama 2 stworzony przez firmę Meta (dawniej Facebook).
W tym poradniku wykorzystamy model typu ‘open source’ od Meta.
Llama 2
to potężny model językowy (LLM - Large Language Model), wytrenowany na imponujących zbiorach danych:
- Ponad 2 biliony tokenów z publicznie dostępnych źródeł internetowych
- Ponad milion przykładów anotowanych przez ludzi
- Dane aktualne na lipiec 2023
Sam proces trenowania wymagał ogromnej mocy obliczeniowej. Meta wykorzystała klaster ponad 6000 procesorów graficznych (GPU), pracujący łącznie przez 1.7 miliona godzin. Szacowany koszt to około 20 milionów dolarów. A teraz ta potęga dostępna jest za darmo, do pobrania na Twój komputer!
Krok 1 - Ollama
Przejdź na stronę Ollama
i pobierz pakiet instalacyjny dla swojego systemu.
Krok 2 - Wybierz system operacyjny
W moim przypadku instalacja macOS.
Instalacja dla systemu macOS jest bardzo prosta i intuicyjna. Wystarczy pobrać pakiet instalacyjny i przejść przez standardowy proces instalacyjny.
Krok 2b (instalacja Windows)*
Dla użytkowników Windowsa może być niezbędny WSL - Windows Subsystem for Linux. Na szczęście jego konfiguracja jest teraz bardzo prosta.
- Na stronie Ollama kliknij link do pobrania wersji dla systemu Linux.
- Skopiuj polecenie
curl
, które później wykorzystamy do instalacji Ollama w WSL. - Teraz uruchom terminal Windows (wyszukaj "Terminal" w menu Start).
- W terminalu wpisz polecenie
wsl --install
i zatwierdź enterem. WSL zostanie zainstalowany wraz z domyślną dystrybucją Ubuntu. - Po zakończeniu instalacji WSL, automatycznie zostaniesz przeniesiony do wiersza poleceń Ubuntu.
Krok 2c Instalacja oLama w WSL (Windows) lub terminalu (Linux)
- W terminalu Ubuntu (Windows) lub natywnym terminalu Linuxa, wklej skopiowane wcześniej polecenie
curl
służące do instalacji oLama. Potwierdź enterem. - W trakcie instalacji będziesz poproszony o podanie hasła sudo. Wpisz je i potwierdź.
- Po chwili instalacja oLama powinna się zakończyć. W terminalu zobaczysz informacje o zainstalowanej wersji.
- oLama podczas instalacji sprawdzi także dostępność procesora graficznego (GPU) Nvidia. Jego obecność znacząco przyspieszy działanie modeli AI, ale nie jest niezbędna.
Krok 4 - Uruchamianie modelu AI
- Aby uruchomić wybrany model, w terminalu wpisz polecenie
ollama run
, a następnie nazwę modelu, np.llama2
(bez obaw, polecenie wyświetli się do skopiowania). - oLama rozpocznie pobieranie wybranego modelu. W przypadku Llama 2 7B będzie to około 7 gigabajtów danych, więc proces może chwilę potrwać.
- Po zakończeniu pobierania, model zostanie automatycznie uruchomiony. Od teraz możesz z nim swobodnie konwersować, zadając pytania lub polecenia w terminalu.
- Jeśli w trakcie instalacji wykryty został kompatybilny procesor graficzny (GPU), model będzie z niego automatycznie korzystał dla przyspieszenia obliczeń. Pamiętajcie AI kocha GPU
Krok 5 - Testuj i implementuj
W zakładce ‘Models’ na stronie Ollama znajdziesz wiele różnych modeli, które możesz testować lokalnie, wystarczy że wybierzesz jeden, który Cie interesuje i zainstalujesz go analogicznie do instrukcji na górze.
krok 5a:
krok 5b:
krok 5c:
Podsumowanie
Gratulacje! Twoje własne prywatne AI jest gotowe do działania. Teraz, gdy już wiesz jak uruchomić lokalnie potężne modele językowe, możliwości ich wykorzystania są praktycznie nieograniczone.
Wyobraź sobie scenariusz rodem z filmu science-fiction: globalna awaria internetu, a Ty wciąż masz dostęp do zaawansowanej sztucznej inteligencji na swoim laptopie. Dodaj do tego panel słoneczny i można powiedzieć, że jesteś gotowy na technologiczną apokalipsę!
Co dalej? Dostrajanie modelu (fine-tuning)
Powyższy mini poradnik stanowi absolutne minimum możliwości prywatnych, lokalnych modeli. Jest to jedynie wprowadzenie.
W kolejnych poradnikach pokażemy, jak "douczyć" Llama 2 na Twoich własnych danych - dokumentach firmowych, bazach wiedzy, zgłoszeniach od klientów itp. Jest to tzw. fine-tunning. Taki dostrojony model będzie w stanie odpowiadać na pytania i wykonywać zadania w kontekście Twojej unikalnej dziedziny. Zachowując pełną prywatność danych, tylko Ty decydujesz czego uczy się AI.
Prywatność i poufność danych to kluczowe zalety lokalnego AI. Żadne wrażliwe informacje nie opuszczają bezpiecznej przystani Twojego komputera. Nie musisz martwić się o naruszenie tajemnicy przedsiębiorstwa czy wycieki danych klientów. Masz pełną kontrolę nad tym, czego uczy się Twój model.