Cerebras wprowadza najszybszą na świecie technologię wnioskowania AI, 20 razy wydajniejszą niż NVIDIA

Firma Cerebras Systems właśnie oficjalnie zaprezentowała rozwiązanie Cerebras Inference, uważane za najszybsze na świecie rozwiązanie do wnioskowania oparte na sztucznej inteligencji. Rozwiązanie Cerebras Inference zapewnia wydajność do 1800 tokenów na sekundę w przypadku modeli Llama 3.1 8B (8 miliardów parametrów) oraz 450 tokenów na sekundę w przypadku modeli Llama 3.1 70B, co jest wynikiem niemal 20-krotnie szybszym od rozwiązań do wnioskowania AI opartych na procesorach graficznych NVIDIA dostępnych w dzisiejszych chmurach hiperskalowych na całym świecie, w tym w Microsoft Azure.

Oprócz niesamowitej wydajności, cena usług tego nowego rozwiązania wnioskowania jest również bardzo niska, stanowiąc ułamek ceny popularnych platform chmurowych GPU. Na przykład klient może otrzymać milion tokenów za jedyne 10 centów, co zapewnia 100-krotnie lepszy stosunek ceny do jakości w przypadku obciążeń związanych ze sztuczną inteligencją.

16-bitowa precyzja i 20-krotnie szybsza prędkość wnioskowania Cerebras umożliwią programistom tworzenie wydajnych aplikacji AI nowej generacji bez uszczerbku dla szybkości i kosztów. Ten przełomowy stosunek ceny do wydajności jest możliwy dzięki systemowi Cerebras CS-3 i procesorowi AI Wafer Scale Engine 3 (WSE-3). CS-3 oferuje 7000 razy większą przepustowość pamięci niż Nvidia H100, rozwiązując tym samym techniczny problem przepustowości pamięci w przypadku generatywnej sztucznej inteligencji.

Cerebras wprowadza najszybszą na świecie technologię wnioskowania AI, 20 razy wydajniejszą niż NVIDIA

Cerebras Inference jest obecnie dostępny na następujących trzech poziomach:

  • Bezpłatny poziom oferuje darmowy dostęp do interfejsu API i duże limity użytkowania dla każdego, kto się zarejestruje.
  • Poziom Developer Tier jest przeznaczony do elastycznych wdrożeń bezserwerowych, oferując użytkownikom punkty końcowe API za ułamek kosztów istniejących alternatyw na rynku. Modele Llama 3.1 8B i 70B kosztują odpowiednio zaledwie 10 centów i 60 centów za milion tokenów.
  • Plany Enterprise Tier oferują precyzyjnie dostrojone modele, niestandardowe umowy o poziomie usług i dedykowane wsparcie. Rozwiązanie to idealnie nadaje się do obsługi stałych obciążeń. Przedsiębiorstwa mogą uzyskać dostęp do rozwiązania Cerebras Inference za pośrednictwem zarządzanej przez Cerebras prywatnej chmury lub lokalnie.

Dzięki rekordowej wydajności, konkurencyjnym cenom i otwartemu dostępowi do interfejsu API Cerebras Inference wyznacza nowy standard otwartego rozwoju i wdrażania LLM. Jako jedyne rozwiązanie umożliwiające zarówno szybkie szkolenie, jak i wnioskowanie, Cerebras otwiera zupełnie nowe możliwości dla sztucznej inteligencji.

Trendy w dziedzinie sztucznej inteligencji rozwijają się błyskawicznie, a firma NVIDIA ma obecnie dominującą pozycję na rynku, a pojawienie się takich firm jak Cerebras i Groq zwiastuje potencjalną zmianę dynamiki całej branży. W obliczu rosnącego zapotrzebowania na szybsze i tańsze rozwiązania do wnioskowania oparte na sztucznej inteligencji, rozwiązania takie jak Cerebras Inference są w dobrej pozycji, aby zaryzykować i zająć dominującą pozycję firmy NVIDIA, zwłaszcza w obszarze wnioskowania.

Sign up and earn $1000 a day ⋙

Leave a Comment

Składany smartfon Microsoftu nie będzie miał zagięć

Składany smartfon Microsoftu nie będzie miał zagięć

Mówi się, że Microsoft jest coraz bliżej wypuszczenia na rynek swojego pierwszego składanego smartfona, gdy 1 października uzyskał patent na składany telefon z możliwością złożenia o 360 stopni, który nie powoduje powstawania zagnieceń na ekranie.

Google testuje niebieski znacznik wyboru w wyszukiwarce

Google testuje niebieski znacznik wyboru w wyszukiwarce

Google testuje nową funkcję weryfikacji za pomocą niebieskiego znacznika wyboru w wyszukiwarce. Funkcja ta pomoże użytkownikom unikać klikania na fałszywe lub oszukańcze linki do witryn internetowych.

Rozróżnianie Microsoft 365 i Office 2024

Rozróżnianie Microsoft 365 i Office 2024

Na pierwszy rzut oka Microsoft 365 i Office 2024 mogą wydawać się bardzo podobne, ponieważ oba zapewniają dostęp do popularnych i szeroko wykorzystywanych aplikacji firmy Microsoft.

Najnowsze kody do Elemental Dungeons i jak je wprowadzać

Najnowsze kody do Elemental Dungeons i jak je wprowadzać

Kody Elemental Dungeons są niezbędną formą nagrody dla graczy. Podobnie jak w przypadku każdej innej gry online w Robloxie, gracze mogą otrzymywać te asysty w zamian za pieniądze lub inne przedmioty.

Jak powtórzyć pasek tytułu tabeli w programie Word

Jak powtórzyć pasek tytułu tabeli w programie Word

Podczas drukowania dokumentu Word utwórz w nim tabelę. Powtórzenie tytułu w programie Word ułatwia jego śledzenie oraz pozwala na płynne odczytywanie tytułu dokumentu na różnych stronach, zwłaszcza w przypadku długich tytułów.

Jak tworzyć animowane wiadomości w iMessage iOS 18

Jak tworzyć animowane wiadomości w iMessage iOS 18

Nowa aplikacja iMessage w systemie iOS 18 została wzbogacona o animowane wiadomości, efekty tekstowe i wiele opcji do wykorzystania w wysyłanych wiadomościach.

Dlaczego świnie są wrogiem węży?

Dlaczego świnie są wrogiem węży?

Istnieje ciekawy fakt na temat świń, o którym nie wszyscy wiedzą: świnie są uważane za wrogów węży, ponieważ gdy te dwa zwierzęta się spotkają, większość węży stanie się pożywieniem dla świń.

Jaka jest odległość Ziemi od Jowisza – największej planety Układu Słonecznego?

Jaka jest odległość Ziemi od Jowisza – największej planety Układu Słonecznego?

Jaka jest odległość od Ziemi do Jowisza? Jeśli nie wiesz, ten artykuł dowiesz się, jak daleko Jowisz znajduje się od Ziemi.

Odkryj metagenerałów sezonu S1 2023 Lien Quan Mobile

Odkryj metagenerałów sezonu S1 2023 Lien Quan Mobile

Którzy generałowie nie są uwzględnieni w meta-grze Mobile Alliance? Przyjrzyjmy się teraz

Graves DTCL sezon 7.5: standardowe przedmioty, skład Graves Loi Long

Graves DTCL sezon 7.5: standardowe przedmioty, skład Graves Loi Long

Graves DTCL z sezonów 1, 3 i 6 kosztuje tylko 1 sztukę złota i wydaje się być po prostu dodatkowym bohaterem mającym na celu pobudzenie klanu; główna rola we wczesnej fazie gry jest nadal wykorzystywana, ale nie w zbyt dużym stopniu. Od sezonu 7.5 DTCL cena Gravesa gwałtownie wzrosła do 4 sztuk złota i zdecydowanie jest niezastąpionym wyborem, jeśli zdecydujesz się grać Thunder Dragonem lub Gunnerem.

Jak korzystać z oddzielnych dźwięków aplikacji na Samsungu

Jak korzystać z oddzielnych dźwięków aplikacji na Samsungu

W przypadku telefonów Samsung należy korzystać z osobnej aplikacji obsługującej dźwięki. Możesz na przykład słuchać muzyki z Apple Music, a telefon będzie odtwarzał dźwięk przez głośniki samochodu.

Dobre cytaty o pracy, dobre statusy o pracy inspirują Cię do osiągnięcia sukcesu

Dobre cytaty o pracy, dobre statusy o pracy inspirują Cię do osiągnięcia sukcesu

W Internecie można znaleźć wiele dobrych statusów dotyczących pracy. W tym artykule podsumujemy dobre i wartościowe statusy zawodowe.

Podpisy na rocznicę ślubu, znaczące i słodkie statusy na rocznicę ślubu

Podpisy na rocznicę ślubu, znaczące i słodkie statusy na rocznicę ślubu

Jaki jest dobry i pełen znaczenia podpis pod rocznicą ślubu? W tym artykule znajdziesz krótkie, zwięzłe podpisy pod rocznicami, które sprawią, że Twój partner zapamięta je na zawsze.

Lista najnowszych kodów Dai Hiep Phong Van i sposób ich wykorzystania

Lista najnowszych kodów Dai Hiep Phong Van i sposób ich wykorzystania

Code Dai Hiep Phong Van pomaga graczom wykorzystać atrakcyjne nagrody, nawet jeśli dopiero zaczynają poznawać świat gry.

Lista najnowszych kodów Sword of Convallaria i jak je wykorzystać

Lista najnowszych kodów Sword of Convallaria i jak je wykorzystać

Code Sword of Convallaria oferuje graczom szereg nagród, takich jak waluta, punkty doświadczenia, przywoływanie postaci...