W styczniu firma Microsoft ogłosiła plany wprowadzenia zoptymalizowanych pod kątem NPU wersji modelu DeepSeek-R1 bezpośrednio do komputerów Copilot+ działających na procesorach Qualcomm Snapdragon X. W lutym DeepSeek-R1-Distill-Qwen-1.5B został po raz pierwszy wydany w AIToolkit dla VSCode.
Firma z Redmond oficjalnie ogłosiła dziś dostępność udoskonalonych modeli DeepSeek R1 7B i 14B dla platformy obliczeniowej Copilot+ za pośrednictwem Azure AI Foundry. Możliwość uruchamiania modeli 7B i 14B bezpośrednio na urządzeniu Copilot+ pozwoli deweloperom na tworzenie bardziej zaawansowanych aplikacji AI, które wcześniej nie były możliwe.
Ponieważ modele te działają na bazie procesorów NPU, użytkownicy mogą oczekiwać stabilnej pracy sztucznej inteligencji przy niewielkim wpływie na żywotność baterii i wydajność cieplną komputera. Ponadto procesor CPU i GPU zostaną zwolnione do wykonywania innych, ważniejszych zadań w systemie.
Microsoft podkreśla, że wykorzystał Aqua, wewnętrzne narzędzie do automatycznej kwantyzacji, aby skwantyzować wszystkie warianty modelu DeepSeek do int4. Jednak prędkość przetwarzania tokenów w tym modelu jest dość niska. Microsoft podaje, że w przypadku modelu 14B liczba ta wynosi zaledwie 8 tokenów na sekundę, a w przypadku modelu 1.5B — prawie 40 tokenów na sekundę. Microsoft zapewnia, że kontynuuje prace nad optymalizacją w celu zwiększenia szybkości działania. W miarę jak Microsoft będzie udoskonalał wydajność, można się spodziewać, że wpływ tych modeli na komputery Copilot+ znacznie wzrośnie.
Zainteresowani programiści mogą pobrać i uruchomić warianty 1.5B, 7B i 14B modelu DeepSeek na komputerach Copilot+ za pośrednictwem rozszerzenia AI Toolkit dla VS Code. Model DeepSeek jest zoptymalizowany w formacie ONNX QDQ i pobierany bezpośrednio z Azure AI Foundry. Te modele pojawią się również w przyszłych komputerach Copilot+ z procesorami Intel Core Ultra 200V i AMD Ryzen.
Wiele osób uważa, że Microsoft podejmuje ryzyko, nawiązując współpracę z DeepSeek. Zintegrowanie technologii DeepSeek z ekosystemem Windows może przysporzyć firmie Microsoft kłopotów, jeśli oskarżenia o kradzież technologii okażą się uzasadnione. Nie można jednak zaprzeczyć, że DeepSeek robi duży krok naprzód na rynku sztucznej inteligencji. Działanie Microsoftu świadczy o dążeniu do stworzenia bardziej wydajnych możliwości sztucznej inteligencji na urządzeniach, co otwiera nowe perspektywy dla aplikacji opartych na sztucznej inteligencji.