Jak zainstalować i uruchomić LLM lokalnie na telefonie z Androidem

Uruchamianie dużych modeli językowych (LLM) lokalnie na telefonie z systemem Android oznacza, że ​​możesz uzyskać dostęp do tych modeli AI bez konieczności korzystania z serwerów w chmurze lub połączenia internetowego . Lokalna konfiguracja gwarantuje prywatność, chroniąc Twoje dane i przechowując je na urządzeniu. Dzięki rozwojowi sprzętu mobilnego lokalne uruchamianie modeli AI stało się rzeczywistością. Aplikacja MLC Chat pozwala łatwo korzystać z tej zaawansowanej technologii bezpośrednio na telefonie.

W tym artykule wyjaśnimy, jak ważne jest lokalne uruchamianie aplikacji LLM na telefonach z systemem Android oraz przedstawimy instrukcje krok po kroku dotyczące instalacji i uruchamiania aplikacji za pomocą aplikacji MLC Chat.

Dlaczego warto uruchomić LLM na telefonie z Androidem?

LLM-y są zazwyczaj uruchamiane na serwerach w chmurze, ponieważ wymagają znacznej mocy obliczeniowej. Choć telefony z Androidem mają pewne ograniczenia w korzystaniu z LLM, otwierają też pewne interesujące możliwości.

• Lepsza prywatność : Ponieważ wszystkie obliczenia odbywają się na Twoim telefonie, Twoje dane pozostają lokalne, co jest ważne w przypadku udostępniania poufnych informacji.
• Dostęp offline : Do dostępu do tych modeli i interakcji z nimi nie jest wymagane stałe połączenie z Internetem. Jest to szczególnie przydatne dla użytkowników mieszkających w odległych rejonach lub tam, gdzie łączność z Internetem jest ograniczona.
• Opłacalność : Uruchamianie LLM na serwerach w chmurze wiąże się z kosztami operacyjnymi, takimi jak koszty pamięci masowej w chmurze i mocy przetwarzania. Metoda ta jest opłacalnym rozwiązaniem dla użytkowników.

Instrukcja krok po kroku dotycząca instalacji i uruchomienia MLC Chat na Androidzie

Aplikacja MLC Chat została zaprojektowana tak, aby umożliwić użytkownikom uruchamianie i interakcję z dużymi modelami językowymi (LLM) lokalnie na różnych urządzeniach, w tym telefonach komórkowych, bez konieczności korzystania z usług w chmurze. Aby uruchomić LLM lokalnie na urządzeniu z systemem Android, wykonaj poniższe czynności.

Krok 1: Zainstaluj aplikację MLC Chat

Najpierw musisz pobrać plik APK dla aplikacji MLC Chat (112 MB) z poniższego łącza.

Plik APK aplikacji MLC Chat

Po pobraniu pliku APK kliknij plik, aby rozpocząć instalację.

Krok 2: Pobierz LLM

Po pomyślnym zainstalowaniu aplikacji otwórz ją, a zobaczysz listę programów LLM dostępnych do pobrania. Dostępne są modele o różnych rozmiarach i możliwościach, takie jak LLama-3.2, Phi-3.5 i Mistral. Wybierz model odpowiadający Twoim potrzebom i kliknij ikonę pobierania znajdującą się obok niego, aby rozpocząć pobieranie. Na przykład, jeśli używasz telefonu ze średniej półki, takiego jak Redmi Note 10, wybierz lekki model, taki jak Qwen-2.5, aby zapewnić sobie płynniejszą pracę.

Krok 3: Uruchom zainstalowany program LLM

Po pobraniu modelu obok niego pojawi się ikona czatu. Kliknij ikonę, aby rozpocząć modelowanie.

Gdy model będzie już gotowy, możesz zacząć wpisywać polecenia i komunikować się z lokalnym LLM.

Przykładowo, na urządzeniu takim jak Redmi Note 10, uruchomienie mniejszego modelu, takiego jak Qwen 2.5, zapewnia dość płynne działanie, generując około 1,4 tokenów na sekundę. Mimo że wydajność tego urządzenia jest niższa niż w przypadku urządzeń najwyższej klasy, takich jak Galaxy S23 Ultra , nadal dobrze sprawdza się w przypadku podstawowych zadań, takich jak krótkie czaty i proste tworzenie treści.

Uruchamianie LLM lokalnie na urządzeniach z systemem Android za pośrednictwem aplikacji MLC Chat zapewnia dostępny i chroniony prywatnością sposób interakcji z modelami AI. Wydajność w dużym stopniu zależy od podzespołów telefonu. To rozwiązanie jest idealne dla użytkowników, którzy potrzebują dostępu offline do modeli AI, testują LLM w czasie rzeczywistym lub obawiają się o swoją prywatność. W miarę udoskonalania sprzętu mobilnego możliwości lokalnego LLM będą się tylko zwiększać, co sprawi, że obszar ten stanie się fascynującym obszarem dla technologii AI.