Jak zainstalować i uruchomić LLM lokalnie na telefonie z Androidem

Uruchamianie dużych modeli językowych (LLM) lokalnie na telefonie z systemem Android oznacza, że ​​możesz uzyskać dostęp do tych modeli AI bez konieczności korzystania z serwerów w chmurze lub połączenia internetowego . Lokalna konfiguracja gwarantuje prywatność, chroniąc Twoje dane i przechowując je na urządzeniu. Dzięki rozwojowi sprzętu mobilnego lokalne uruchamianie modeli AI stało się rzeczywistością. Aplikacja MLC Chat pozwala łatwo korzystać z tej zaawansowanej technologii bezpośrednio na telefonie.

W tym artykule wyjaśnimy, jak ważne jest lokalne uruchamianie aplikacji LLM na telefonach z systemem Android oraz przedstawimy instrukcje krok po kroku dotyczące instalacji i uruchamiania aplikacji za pomocą aplikacji MLC Chat.

Dlaczego warto uruchomić LLM na telefonie z Androidem?

LLM-y są zazwyczaj uruchamiane na serwerach w chmurze, ponieważ wymagają znacznej mocy obliczeniowej. Choć telefony z Androidem mają pewne ograniczenia w korzystaniu z LLM, otwierają też pewne interesujące możliwości.

  • Lepsza prywatność : Ponieważ wszystkie obliczenia odbywają się na Twoim telefonie, Twoje dane pozostają lokalne, co jest ważne w przypadku udostępniania poufnych informacji.
  • Dostęp offline : Do dostępu do tych modeli i interakcji z nimi nie jest wymagane stałe połączenie z Internetem. Jest to szczególnie przydatne dla użytkowników mieszkających w odległych rejonach lub tam, gdzie łączność z Internetem jest ograniczona.
  • Opłacalność : Uruchamianie LLM na serwerach w chmurze wiąże się z kosztami operacyjnymi, takimi jak koszty pamięci masowej w chmurze i mocy przetwarzania. Metoda ta jest opłacalnym rozwiązaniem dla użytkowników.

Instrukcja krok po kroku dotycząca instalacji i uruchomienia MLC Chat na Androidzie

Aplikacja MLC Chat została zaprojektowana tak, aby umożliwić użytkownikom uruchamianie i interakcję z dużymi modelami językowymi (LLM) lokalnie na różnych urządzeniach, w tym telefonach komórkowych, bez konieczności korzystania z usług w chmurze. Aby uruchomić LLM lokalnie na urządzeniu z systemem Android, wykonaj poniższe czynności.

Krok 1: Zainstaluj aplikację MLC Chat

Najpierw musisz pobrać plik APK dla aplikacji MLC Chat (112 MB) z poniższego łącza.

Plik APK aplikacji MLC Chat

Jak zainstalować i uruchomić LLM lokalnie na telefonie z Androidem
Zainstaluj aplikację MLC Chat

Po pobraniu pliku APK kliknij plik, aby rozpocząć instalację.

Krok 2: Pobierz LLM

Po pomyślnym zainstalowaniu aplikacji otwórz ją, a zobaczysz listę programów LLM dostępnych do pobrania. Dostępne są modele o różnych rozmiarach i możliwościach, takie jak LLama-3.2, Phi-3.5 i Mistral. Wybierz model odpowiadający Twoim potrzebom i kliknij ikonę pobierania znajdującą się obok niego, aby rozpocząć pobieranie. Na przykład, jeśli używasz telefonu ze średniej półki, takiego jak Redmi Note 10, wybierz lekki model, taki jak Qwen-2.5, aby zapewnić sobie płynniejszą pracę.

Jak zainstalować i uruchomić LLM lokalnie na telefonie z Androidem
Pobierz LLM

Krok 3: Uruchom zainstalowany program LLM

Po pobraniu modelu obok niego pojawi się ikona czatu. Kliknij ikonę, aby rozpocząć modelowanie.

Jak zainstalować i uruchomić LLM lokalnie na telefonie z Androidem
Uruchom zainstalowany LLM

Gdy model będzie już gotowy, możesz zacząć wpisywać polecenia i komunikować się z lokalnym LLM.

Jak zainstalować i uruchomić LLM lokalnie na telefonie z Androidem

Przykładowo, na urządzeniu takim jak Redmi Note 10, uruchomienie mniejszego modelu, takiego jak Qwen 2.5, zapewnia dość płynne działanie, generując około 1,4 tokenów na sekundę. Mimo że wydajność tego urządzenia jest niższa niż w przypadku urządzeń najwyższej klasy, takich jak Galaxy S23 Ultra , nadal dobrze sprawdza się w przypadku podstawowych zadań, takich jak krótkie czaty i proste tworzenie treści.

Uruchamianie LLM lokalnie na urządzeniach z systemem Android za pośrednictwem aplikacji MLC Chat zapewnia dostępny i chroniony prywatnością sposób interakcji z modelami AI. Wydajność w dużym stopniu zależy od podzespołów telefonu. To rozwiązanie jest idealne dla użytkowników, którzy potrzebują dostępu offline do modeli AI, testują LLM w czasie rzeczywistym lub obawiają się o swoją prywatność. W miarę udoskonalania sprzętu mobilnego możliwości lokalnego LLM będą się tylko zwiększać, co sprawi, że obszar ten stanie się fascynującym obszarem dla technologii AI.

Sign up and earn $1000 a day ⋙

Leave a Comment

6 najlepszych menedżerów plików dla Android TV

6 najlepszych menedżerów plików dla Android TV

Każdy użytkownik telewizora z systemem Android TV musi zainstalować menedżera plików z wielu powodów.

Jak sprawdzić, które aplikacje wykorzystują najwięcej pamięci RAM w systemie Android

Jak sprawdzić, które aplikacje wykorzystują najwięcej pamięci RAM w systemie Android

Jeżeli aplikacja „zużywa” zbyt dużo pamięci RAM urządzenia, znacznie ogranicza to możliwości systemu w zakresie wykonywania wielu zadań jednocześnie, a także powoduje opóźnienia, co poważnie wpływa na komfort korzystania z urządzenia.

Jak stworzyć własną maskotkę Androida

Jak stworzyć własną maskotkę Androida

Teraz możesz stworzyć własną wersję maskotki Androida, którą nazwiesz The Bot. Wybierając materiały, ubrania, akcesoria i rekwizyty, możesz dostosować The Bot do swoich upodobań.

Jak korzystać z FaceTime na Androidzie?

Jak korzystać z FaceTime na Androidzie?

Wreszcie Apple pozwala użytkownikom urządzeń z systemem Android korzystać z FaceTime.

Baw się dobrze z tymi 6 aplikacjami do zmiany głosu na Androidzie

Baw się dobrze z tymi 6 aplikacjami do zmiany głosu na Androidzie

Czy kiedykolwiek chciałeś zrobić żart znajomym, mówiąc im śmiesznym głosem? Dzięki niektórym aplikacjom na smartfony nie musisz już instalować w tym celu skomplikowanego oprogramowania komputerowego.

Jak chronić się przed aplikacjami SpyLoan na Androida, które wykorzystują Twoje dane do szantażowania Cię

Jak chronić się przed aplikacjami SpyLoan na Androida, które wykorzystują Twoje dane do szantażowania Cię

Typowym przypadkiem jest aplikacja SpyLoan, która oszukuje użytkowników obietnicami pożyczek o niskim oprocentowaniu, a zamiast tego zbiera dane osobowe i szantażuje ofiary, wykorzystując te dane.

Jak naprawić niedziałający Android Auto

Jak naprawić niedziałający Android Auto

W poniższym artykule Quantrimang przedstawi Ci kilka wskazówek, jak rozwiązać problem z działaniem Android Auto, niezależnie od tego, czy chodzi o telefon, czy ekran samochodu.

Instrukcje dotyczące wykonywania przewijanego zrzutu ekranu urządzenia z systemem Android w celu uchwycenia całej strony internetowej

Instrukcje dotyczące wykonywania przewijanego zrzutu ekranu urządzenia z systemem Android w celu uchwycenia całej strony internetowej

Zamiast „bombardować” wiadomości znajomych dziesiątkami zrzutów ekranu, możesz zrobić przewijany zrzut ekranu i go wysłać.

Jak naprawić ostatnie błędy awarii aplikacji na Androidzie

Jak naprawić ostatnie błędy awarii aplikacji na Androidzie

Smartfony z systemem Android zmagają się z irytującym błędem, który powoduje częste zawieszanie się aplikacji zainstalowanych na urządzeniu.

4 oznaki, że aplikacje Android Cię śledzą

4 oznaki, że aplikacje Android Cię śledzą

Dziwne rozładowywanie się baterii lub skoki przesyłu danych nie muszą być koniecznie błędem. Może to być złośliwa aplikacja, która potajemnie śledzi Twoją lokalizację, nawyki itp.

6 sposobów na ukrywanie i ograniczanie aplikacji na Androidzie

6 sposobów na ukrywanie i ograniczanie aplikacji na Androidzie

Łatwo jest dać się rozproszyć przez mnogość aplikacji w telefonie. Najlepszym sposobem na ograniczenie czasu spędzanego przed ekranem jest usunięcie tych aplikacji z pola widzenia.

Tencent wprowadza gry na Androida do Microsoft Store Windows 11

Tencent wprowadza gry na Androida do Microsoft Store Windows 11

Na początku tego roku firma Microsoft ogłosiła decyzję o zakończeniu rozwijania Podsystemu Windows dla systemu Android, który miał umożliwiać natywne uruchamianie aplikacji Android w systemie Windows 11.

Jak nigdy nie płacić za gry i aplikacje na Androidzie

Jak nigdy nie płacić za gry i aplikacje na Androidzie

Jeśli chodzi o zakupy w Sklepie Play, wiele osób od lat nie wydało żadnych prawdziwych pieniędzy, a to dzięki Google Opinion Rewards.

Co oznaczają ikony na pasku stanu Androida?

Co oznaczają ikony na pasku stanu Androida?

W miarę dodawania nowych funkcji pojawia się coraz więcej ikon, co czasami może być mylące. Oto co oznaczają wszystkie te symbole.

Jak wyłączyć połączenia Wi-Fi na Androidzie

Jak wyłączyć połączenia Wi-Fi na Androidzie

Połączenia Wi-Fi to funkcja umożliwiająca wykonywanie połączeń i wysyłanie wiadomości za pośrednictwem sieci Wi-Fi całkowicie za darmo na telefonach z systemem Android. Poniższy artykuł pomoże Ci wyłączyć funkcję połączeń przez Wi-Fi w systemie Android.

6 najlepszych menedżerów plików dla Android TV

6 najlepszych menedżerów plików dla Android TV

Każdy użytkownik telewizora z systemem Android TV musi zainstalować menedżera plików z wielu powodów.

Super fajne formuły edycji zdjęć na iPhonie

Super fajne formuły edycji zdjęć na iPhonie

Aby uzyskać naprawdę dobre zdjęcia, będziesz potrzebować pewnych narzędzi do edycji zdjęć. Możesz jednak zastosować formuły edycyjne, aby uzyskać lśniące zdjęcia na iPhonie.

Przydatne funkcje Galaxy, które chcieliby mieć użytkownicy iPhone’a

Przydatne funkcje Galaxy, które chcieliby mieć użytkownicy iPhone’a

Zrzuty ekranu są świetnym sposobem na zapisanie informacji, ale często pozostawiają użytkownika w niepewności, gdzie znalazł dane. Urządzenia Samsung Galaxy rozwiązują ten problem dzięki świetnej funkcji: zrzutom ekranu odsyłającym do oryginalnej witryny.

Jak sprawdzić, które aplikacje wykorzystują najwięcej pamięci RAM w systemie Android

Jak sprawdzić, które aplikacje wykorzystują najwięcej pamięci RAM w systemie Android

Jeżeli aplikacja „zużywa” zbyt dużo pamięci RAM urządzenia, znacznie ogranicza to możliwości systemu w zakresie wykonywania wielu zadań jednocześnie, a także powoduje opóźnienia, co poważnie wpływa na komfort korzystania z urządzenia.

6 sposobów na zmniejszenie rozmiaru wideo na iPhonie

6 sposobów na zmniejszenie rozmiaru wideo na iPhonie

Duży rozmiar plików nie tylko wpływa na pojemność pamięci masowej, ale również utrudnia ich udostępnianie. Ponadto wysyłanie dużych plików szybko wykorzysta Twoją sieć komórkową i transfer danych.

Podsumowanie kilku sposobów naprawy błędu „Brak usługi” na iPhonie

Podsumowanie kilku sposobów naprawy błędu „Brak usługi” na iPhonie

Niektóre przyczyny błędu braku usługi to brak zasięgu, problem z kartą SIM, błąd systemu iOS... Ponieważ przyczyn jest wiele, możesz wypróbować kilka rozwiązań, aby naprawić problem braku usługi na iPhonie, postępując zgodnie z poniższymi instrukcjami.

Jak zmienić jednostki miary na iPhonie – niezwykle proste

Jak zmienić jednostki miary na iPhonie – niezwykle proste

W systemie iOS 17 istnieje ustawienie umożliwiające zmianę jednostki miary bezpośrednio w opcjach dokumentu, gdy zaznaczymy iPhone'a, bez konieczności instalowania żadnych innych aplikacji pomocniczych.

Jak naprawić ostrzeżenie o wykryciu cieczy w złączu USB-C na iPhonie

Jak naprawić ostrzeżenie o wykryciu cieczy w złączu USB-C na iPhonie

Czy próbujesz naładować swojego iPhone'a, ale wyświetla się ostrzeżenie informujące o wykryciu cieczy w złączu? Sprawdź kroki rozwiązywania problemów, które możesz podjąć, aby pozbyć się ostrzeżenia o wykryciu cieczy i przywrócić normalne ładowanie iPhone'a.

Jak naprawić niedoświetlone zdjęcia na iPhonie i Androidzie

Jak naprawić niedoświetlone zdjęcia na iPhonie i Androidzie

Słabe warunki oświetleniowe mogą skutkować niedoświetlonymi, niewyraźnymi i nieudanymi zdjęciami. Możesz jednak łatwo temu zaradzić, korzystając z wbudowanej w telefon aplikacji do zdjęć. Oto jak naprawić niedoświetlone zdjęcia na iPhonie i Androidzie!

Jak ukryć aplikacje pobrane na iPhonea

Jak ukryć aplikacje pobrane na iPhonea

Aby zachować w tajemnicy aplikacje pobrane na iPhone'a, możemy usunąć je z listy zgodnie z instrukcjami w artykule poniżej.

Jak stworzyć własną maskotkę Androida

Jak stworzyć własną maskotkę Androida

Teraz możesz stworzyć własną wersję maskotki Androida, którą nazwiesz The Bot. Wybierając materiały, ubrania, akcesoria i rekwizyty, możesz dostosować The Bot do swoich upodobań.

Jak korzystać z FaceTime na Androidzie?

Jak korzystać z FaceTime na Androidzie?

Wreszcie Apple pozwala użytkownikom urządzeń z systemem Android korzystać z FaceTime.

Baw się dobrze z tymi 6 aplikacjami do zmiany głosu na Androidzie

Baw się dobrze z tymi 6 aplikacjami do zmiany głosu na Androidzie

Czy kiedykolwiek chciałeś zrobić żart znajomym, mówiąc im śmiesznym głosem? Dzięki niektórym aplikacjom na smartfony nie musisz już instalować w tym celu skomplikowanego oprogramowania komputerowego.

Ta funkcja iPhone’a 16 sprawi, że Twoje filmy będą brzmiały lepiej

Ta funkcja iPhone’a 16 sprawi, że Twoje filmy będą brzmiały lepiej

Modele iPhone'a 16 mają ukrytą funkcję, która daje Ci większą kontrolę nad dźwiękiem w Twoich filmach. Wszystko to dzięki funkcji Spatial Audio Capture, która podczas nagrywania wideo wykorzystuje wszystkie cztery wbudowane mikrofony w Twoim iPhonie.

4 proste sposoby skanowania kodów QR na iPhonie

4 proste sposoby skanowania kodów QR na iPhonie

Nie ma potrzeby instalowania dodatkowej aplikacji, teraz możesz skanować kody QR bezpośrednio na swoim iPhonie. Wystarczy włączyć w aparacie iPhone'a tryb skanowania kodów QR i skierować aparat na kod QR, który chcemy zeskanować.