9 najlepszych lokalnych/offlineowych programów LLM, które możesz wypróbować już teraz

Dzięki dostępności kwantowych modeli LLM w HuggingFace i ekosystemom sztucznej inteligencji, takim jak H20, Text Gen i GPT4All, które umożliwiają ładowanie wag LLM na komputerze, masz teraz możliwość korzystania z bezpłatnej, elastycznej i bezpiecznej sztucznej inteligencji. Oto 9 najlepszych lokalnych/stacjonarnych programów LLM, które możesz wypróbować już teraz!

Spis treści

• 1. Hermes 2 Pro GPTQ
• 2. Zephyr 7B Beta
• 3. Instrukcja Falcon GPTQ
• 4. GPT4ALL-J Groovy
• 5. Instrukcja DeepSeek Coder V2
• 6.Mixtral-8x7B
• 7. Czarodziej Vicuna bez cenzury-GPTQ
• 8. Orca Mini-GPTQ
• 9. Llama 2 13B Czat GPTQ

1. Hermes 2 Pro GPTQ

Hermes 2 Pro to zaawansowany model językowy udoskonalony przez Nous Research. Wykorzystuje zaktualizowaną i odchudzoną wersję zbioru danych OpenHermes 2.5, a także nowo wprowadzone zestawy danych Function Calling i JSON opracowane przez samą firmę. Model ten bazuje na architekturze Mistral 7B i został wytrenowany na 1 000 000 instrukcji/konwersacji o jakości GPT-4 lub wyższej, głównie na danych syntetycznych.

Hermes 2 Pro na komputerze Mistral 7B to nowy flagowy model Hermes 7B, który oferuje lepszą wydajność w różnych testach porównawczych, w tym AGIEval, BigBench Reasoning, GPT4All i TruthfulQA. Jego zaawansowane możliwości sprawiają, że nadaje się on do wielu zadań związanych z przetwarzaniem języka naturalnego (NLP), takich jak generowanie kodu, tworzenie treści i aplikacje wykorzystujące konwersacyjną sztuczną inteligencję.

2. Zephyr 7B Beta

Zephyr to seria modeli językowych wyszkolonych do pełnienia roli pomocnych asystentów. Zephyr-7B-Beta to drugi model w serii, udoskonalony na podstawie Mistral-7B-v0.1 przy użyciu metody Direct Preference Optimization (DPO) na bazie publicznie dostępnych syntetycznych zestawów danych.

Dzięki wyeliminowaniu wbudowanego wyrównywania zestawów danych treningowych Zephyr-7B-Beta wykazuje lepszą wydajność w testach porównawczych, takich jak MT-Bench, co zwiększa jego przydatność w przypadku wielu zadań. Jednakże taka zmiana może powodować problemy z generowaniem tekstu, gdy zostanie wyświetlony odpowiedni monit.

3. Instrukcja Falcon GPTQ

Skwantowana wersja Falcona bazuje na architekturze zawierającej wyłącznie dekoder, udoskonalonej na bazie surowego modelu Falcon-7b firmy TII. Podstawowy model Falcon został wytrenowany przy użyciu 1,5 biliona tokenów pochodzących z publicznego Internetu. Falcon Instruct to oparty na poleceniach model dekodowania z licencją Apache 2, który doskonale nadaje się dla małych firm poszukujących modelu do tłumaczenia języków i pobierania danych.

Jednakże ta wersja Falcona nie jest idealna do precyzyjnego dostrajania i przeznaczona jest wyłącznie do wnioskowania. Jeśli chcesz dostroić Falcona, będziesz musiał użyć surowego modelu, co może wymagać dostępu do sprzętu szkoleniowego klasy korporacyjnej, takiego jak akceleratory NVIDIA DGX lub AMD Instinct AI.

4. GPT4ALL-J Groovy

GPT4All-J Groovy to model pełniący wyłącznie funkcję dekodera, dostrojony przez Nomic AI i licencjonowany na podstawie Apache 2.0. GPT4ALL-J Groovy bazuje na oryginalnym modelu GPT-J, który jest znany ze znakomitego generowania tekstu z monitów. GPT4ALL -J Groovy został zmodyfikowany do modelu konwersacyjnego, który świetnie sprawdza się w szybkich i kreatywnych aplikacjach do generowania tekstu. Dzięki temu GPT4All-J Groovy idealnie nadaje się dla twórców treści, którzy chcą wspomóc się w pisaniu i komponowaniu, niezależnie od tego, czy chodzi o poezję, muzykę czy opowiadania.

Niestety, bazowy model GPT-J został wytrenowany na zbiorze danych wyłącznie w języku angielskim, co oznacza, że ​​nawet ten dopracowany model GPT4ALL-J może komunikować się i wykonywać aplikacje generowania tekstu jedynie w języku angielskim.

5. Instrukcja DeepSeek Coder V2

DeepSeek Coder V2 to zaawansowany model języka, który wzbogaca programowanie i rozumowanie matematyczne. DeepSeek Coder V2 obsługuje wiele języków programowania i oferuje rozszerzoną długość kontekstu, co czyni go wszechstronnym narzędziem dla programistów.

W porównaniu ze swoim poprzednikiem DeepSeek Coder V2 wykazuje znaczącą poprawę w zadaniach związanych z kodowaniem, rozumowaniem i ogólnymi możliwościami. Rozszerza obsługę języków programowania z 86 do 338 i zwiększa długość kontekstu z 16 tys. do 128 tys. tokenów. W testach porównawczych przewyższa takie modele jak GPT-4 Turbo, Claude 3 Opus i Gemini 1.5 Pro w testach kryptograficznych i matematycznych.

6.Mixtral -8x7B

Mixtral-8x7B to mieszanka modeli eksperckich (MoE) opracowana przez Mistral AI. Na każdy MLP przypada 8 ekspertów, co łącznie odpowiada za 45 miliardów parametrów. Jednakże podczas wnioskowania aktywowanych jest tylko dwóch ekspertów na każdy token, co sprawia, że ​​jest to proces wydajny obliczeniowo, a jego prędkość i koszt są porównywalne z modelem o 12 miliardach parametrów.

Mixtral obsługuje długość kontekstu wynoszącą 32 tys. tokenów i przewyższa Llama 2 o 70 mld w większości testów porównawczych, dorównując lub przewyższając wydajność GPT-3.5. Aplikacja biegle posługuje się wieloma językami, w tym angielskim, francuskim, niemieckim, hiszpańskim i włoskim, co czyni ją wszechstronnym wyborem do różnych zadań z zakresu przetwarzania języka naturalnego.

7. Czarodziej Vicuna bez cenzury-GPTQ

Wizard-Vicuna GPTQ to kwantowa wersja Wizard Vicuna oparta na modelu LlaMA. W przeciwieństwie do większości modeli LLM udostępnianych publicznie, Wizard-Vicuna jest modelem nieocenzurowanym, z którego usunięto wszelkie powiązania. Oznacza to, że model ten nie spełnia tych samych standardów bezpieczeństwa i etyki, co większość innych modelek.

Choć może to stanowić problem dla kontroli dopasowania sztucznej inteligencji (AI), posiadanie nieocenzurowanego modelu LLM pozwala wydobyć to, co najlepsze w modelu, umożliwiając mu udzielanie odpowiedzi bez żadnych ograniczeń. Umożliwia to również użytkownikom dodawanie własnych, niestandardowych ustawień dotyczących tego, jak sztuczna inteligencja powinna działać lub reagować na dany monit.

8. Orca Mini-GPTQ

Czy chcesz przetestować model wytrenowany przy użyciu unikalnej metody uczenia? Orca Mini to nieoficjalna implementacja dokumentu badawczego Orca firmy Microsoft. Model ten trenowano z wykorzystaniem podejścia polegającego na uczeniu się nauczyciela i ucznia, gdzie zbiór danych wypełniany jest wyjaśnieniami, a nie tylko wskazówkami i odpowiedziami. W teorii powinno to uczynić studenta mądrzejszym, ponieważ model może zrozumieć problem, zamiast szukać tylko par danych wejściowych i wyjściowych, jak to ma miejsce w przypadku konwencjonalnego LLM.

9. Llama 2 13B Czat GPTQ

Llama 2 jest następcą oryginalnego Llama LLM, oferującym lepszą wydajność i wszechstronność. Wariant 13B Chat GPTQ jest dostrojony do aplikacji sztucznej inteligencji konwersacyjnej zoptymalizowanych pod kątem dialogu w języku angielskim.

Niektóre z wymienionych powyżej modeli występują w różnych wersjach pod względem specyfikacji. Ogólnie rzecz biorąc, wersje o wyższych parametrach technicznych dają lepsze rezultaty, ale wymagają bardziej wydajnego sprzętu, podczas gdy wersje o niższych parametrach technicznych dają gorszej jakości rezultaty, ale mogą być uruchamiane na słabszym sprzęcie. Jeśli nie masz pewności, czy Twój komputer obsłuży ten model, wypróbuj najpierw wersję o niższych parametrach, a następnie kontynuuj, aż uznasz, że spadek wydajności nie jest już akceptowalny.