Uruchamianie dużych modeli językowych (LLM) lokalnie na telefonie z systemem Android oznacza, że możesz uzyskać dostęp do tych modeli AI bez konieczności korzystania z serwerów w chmurze lub połączenia internetowego . Lokalna konfiguracja gwarantuje prywatność, chroniąc Twoje dane i przechowując je na urządzeniu. Dzięki rozwojowi sprzętu mobilnego lokalne uruchamianie modeli AI stało się rzeczywistością. Aplikacja MLC Chat pozwala łatwo korzystać z tej zaawansowanej technologii bezpośrednio na telefonie.
W tym artykule wyjaśnimy, jak ważne jest lokalne uruchamianie aplikacji LLM na telefonach z systemem Android oraz przedstawimy instrukcje krok po kroku dotyczące instalacji i uruchamiania aplikacji za pomocą aplikacji MLC Chat.
Dlaczego warto uruchomić LLM na telefonie z Androidem?
LLM-y są zazwyczaj uruchamiane na serwerach w chmurze, ponieważ wymagają znacznej mocy obliczeniowej. Choć telefony z Androidem mają pewne ograniczenia w korzystaniu z LLM, otwierają też pewne interesujące możliwości.
Instrukcja krok po kroku dotycząca instalacji i uruchomienia MLC Chat na Androidzie
Aplikacja MLC Chat została zaprojektowana tak, aby umożliwić użytkownikom uruchamianie i interakcję z dużymi modelami językowymi (LLM) lokalnie na różnych urządzeniach, w tym telefonach komórkowych, bez konieczności korzystania z usług w chmurze. Aby uruchomić LLM lokalnie na urządzeniu z systemem Android, wykonaj poniższe czynności.
Krok 1: Zainstaluj aplikację MLC Chat
Najpierw musisz pobrać plik APK dla aplikacji MLC Chat (112 MB) z poniższego łącza.
Po pobraniu pliku APK kliknij plik, aby rozpocząć instalację.
Krok 2: Pobierz LLM
Po pomyślnym zainstalowaniu aplikacji otwórz ją, a zobaczysz listę programów LLM dostępnych do pobrania. Dostępne są modele o różnych rozmiarach i możliwościach, takie jak LLama-3.2, Phi-3.5 i Mistral. Wybierz model odpowiadający Twoim potrzebom i kliknij ikonę pobierania znajdującą się obok niego, aby rozpocząć pobieranie. Na przykład, jeśli używasz telefonu ze średniej półki, takiego jak Redmi Note 10, wybierz lekki model, taki jak Qwen-2.5, aby zapewnić sobie płynniejszą pracę.
Krok 3: Uruchom zainstalowany program LLM
Po pobraniu modelu obok niego pojawi się ikona czatu. Kliknij ikonę, aby rozpocząć modelowanie.
Gdy model będzie już gotowy, możesz zacząć wpisywać polecenia i komunikować się z lokalnym LLM.
Przykładowo, na urządzeniu takim jak Redmi Note 10, uruchomienie mniejszego modelu, takiego jak Qwen 2.5, zapewnia dość płynne działanie, generując około 1,4 tokenów na sekundę. Mimo że wydajność tego urządzenia jest niższa niż w przypadku urządzeń najwyższej klasy, takich jak Galaxy S23 Ultra , nadal dobrze sprawdza się w przypadku podstawowych zadań, takich jak krótkie czaty i proste tworzenie treści.
Uruchamianie LLM lokalnie na urządzeniach z systemem Android za pośrednictwem aplikacji MLC Chat zapewnia dostępny i chroniony prywatnością sposób interakcji z modelami AI. Wydajność w dużym stopniu zależy od podzespołów telefonu. To rozwiązanie jest idealne dla użytkowników, którzy potrzebują dostępu offline do modeli AI, testują LLM w czasie rzeczywistym lub obawiają się o swoją prywatność. W miarę udoskonalania sprzętu mobilnego możliwości lokalnego LLM będą się tylko zwiększać, co sprawi, że obszar ten stanie się fascynującym obszarem dla technologii AI.
Twój drogi Samsung Galaxy nie musi wyglądać dokładnie tak samo jak każdy inny telefon na rynku. Wystarczy kilka drobnych poprawek, aby uczynić go bardziej osobistym, stylowym i wyjątkowym.
Gdy znudził im się system iOS, w końcu przeszli na telefony Samsunga i nie żałują tej decyzji.
Zmiana DNS na iPhonie lub zmiana DNS na Androidzie pomoże Ci zachować stabilne połączenie, zwiększyć prędkość połączenia sieciowego i uzyskać dostęp do zablokowanych stron internetowych.
Wiele osób nie spodziewało się, że najsłabszy aparat w ich telefonie stanie się tajną bronią do kreatywnej fotografii.
Dzięki aplikacjom z automatycznym klikaniem. Nie będziesz musiał wiele robić podczas grania w gry, korzystania z aplikacji lub wykonywania zadań dostępnych na urządzeniu.
W zależności od Twoich potrzeb, prawdopodobnie otrzymasz zestaw funkcji dostępnych wyłącznie dla Pixela, które będą działać na Twoim urządzeniu z Androidem.
Rozwiązanie problemu nie wymaga koniecznie usuwania ulubionych zdjęć lub aplikacji; One UI zawiera kilka opcji, które ułatwiają odzyskanie miejsca.
Większość z nas traktuje port ładowania smartfona tak, jakby jego jedynym zadaniem było podtrzymywanie baterii przy życiu. Ale ten mały port jest o wiele potężniejszy, niż mu się wydaje.
Jeśli masz już dość ogólnikowych porad, które nigdy nie działają, oto kilka, które po cichu odmieniają sposób, w jaki robisz zdjęcia.
Jeśli szukasz nowego smartfona, pierwszą rzeczą, na którą naturalnie spojrzysz, będzie specyfikacja techniczna. Znajdziesz w niej mnóstwo informacji na temat wydajności, czasu pracy baterii i jakości wyświetlacza.
Aplikacja Emojimix stworzy wyjątkowe emotikony według Twojego życzenia poprzez połączenie dwóch emotikonów w celu uzyskania emotikony, której nigdy wcześniej nie widziałeś.
Wypróbuj aplikację Digital Wellbeing na swoim telefonie Samsung, aby zobaczyć, ile czasu marnujesz na telefonie w ciągu dnia!
Aplikacja do fałszywych połączeń pozwala na wykonywanie połączeń z Twojego telefonu, dzięki czemu unikniesz niezręcznych i niepożądanych sytuacji.
Nowa aplikacja Locket Widget jest dostępna na Androida, po tym jak użytkownicy systemu iOS mogli wcześniej używać Locket Widget na iPhonie.
Mimo że ekosystem Apple jest mocno rozbudowany, niektórzy użytkownicy zamienili swoje telefony z Androidem w niezawodne piloty do Apple TV.
Twój drogi Samsung Galaxy nie musi wyglądać dokładnie tak samo jak każdy inny telefon na rynku. Wystarczy kilka drobnych poprawek, aby uczynić go bardziej osobistym, stylowym i wyjątkowym.
Gdy znudził im się system iOS, w końcu przeszli na telefony Samsunga i nie żałują tej decyzji.
Interfejs internetowy konta Apple w przeglądarce umożliwia przeglądanie danych osobowych, zmianę ustawień, zarządzanie subskrypcjami i wiele więcej. Czasami jednak z różnych powodów nie można się zalogować.
Zmiana DNS na iPhonie lub zmiana DNS na Androidzie pomoże Ci zachować stabilne połączenie, zwiększyć prędkość połączenia sieciowego i uzyskać dostęp do zablokowanych stron internetowych.
Jeśli narzędzie Znajdź mój telefon stanie się niedokładne lub zawodne, wprowadź kilka zmian, aby zwiększyć jego dokładność wtedy, gdy jest to najbardziej potrzebne.
Wiele osób nie spodziewało się, że najsłabszy aparat w ich telefonie stanie się tajną bronią do kreatywnej fotografii.
Near Field Communication to technologia bezprzewodowa umożliwiająca wymianę danych między urządzeniami, gdy znajdują się one blisko siebie, zazwyczaj w odległości kilku centymetrów.
Apple wprowadziło funkcję Adaptive Power, która działa równolegle z trybem niskiego poboru mocy. Obie funkcje wydłużają czas pracy baterii iPhone'a, ale działają w zupełnie inny sposób.
Dzięki aplikacjom z automatycznym klikaniem. Nie będziesz musiał wiele robić podczas grania w gry, korzystania z aplikacji lub wykonywania zadań dostępnych na urządzeniu.
W zależności od Twoich potrzeb, prawdopodobnie otrzymasz zestaw funkcji dostępnych wyłącznie dla Pixela, które będą działać na Twoim urządzeniu z Androidem.
Rozwiązanie problemu nie wymaga koniecznie usuwania ulubionych zdjęć lub aplikacji; One UI zawiera kilka opcji, które ułatwiają odzyskanie miejsca.
Większość z nas traktuje port ładowania smartfona tak, jakby jego jedynym zadaniem było podtrzymywanie baterii przy życiu. Ale ten mały port jest o wiele potężniejszy, niż mu się wydaje.
Jeśli masz już dość ogólnikowych porad, które nigdy nie działają, oto kilka, które po cichu odmieniają sposób, w jaki robisz zdjęcia.
Jeśli szukasz nowego smartfona, pierwszą rzeczą, na którą naturalnie spojrzysz, będzie specyfikacja techniczna. Znajdziesz w niej mnóstwo informacji na temat wydajności, czasu pracy baterii i jakości wyświetlacza.
Instalując aplikację na iPhonie z innego źródła, musisz ręcznie potwierdzić, że jest ona zaufana. Następnie aplikacja zostanie zainstalowana na Twoim iPhonie i będzie gotowa do użycia.
