Home
» Wiki
»
Microsoft ogłasza nowe narzędzie do wykrywania i korygowania treści halucynogennych w wynikach AI
Microsoft ogłasza nowe narzędzie do wykrywania i korygowania treści halucynogennych w wynikach AI
Azure AI Content Safety to usługa AI firmy Microsoft, która pomaga wykrywać szkodliwą zawartość generowaną przez sztuczną inteligencję w aplikacjach, usługach i platformach. Narzędzie to zapewnia interfejsy API zarówno dla tekstu, jak i obrazów, umożliwiając programistom identyfikację niepożądanej zawartości.
Interfejs API Groundedness w usłudze Azure AI Content Safety potrafi określić, czy odpowiedź z dużego modelu językowego opiera się na dokumencie źródłowym wybranym przez użytkownika. Ponieważ obecne duże modele językowe mogą generować niedokładne lub fałszywe informacje (informacje iluzoryczne), ten interfejs API pomaga programistom identyfikować takie treści w danych wyjściowych sztucznej inteligencji.
Firma Microsoft ogłosiła dziś udostępnienie wersji zapoznawczej poprawki. Dzięki temu programiści mogą teraz wykrywać i korygować „złudne” treści w danych wyjściowych sztucznej inteligencji w czasie rzeczywistym, zapewniając użytkownikom końcowym zawsze otrzymywanie rzetelnych, faktycznych treści generowanych przez sztuczną inteligencję. Funkcja ta działa w następujący sposób:
Twórca aplikacji umożliwia edycję.
Gdy zostaną wykryte nieuzasadnione dane, do modelu AI wysyłane jest nowe żądanie w celu skorygowania błędu.
Algorytm LLM oceni ogólny wynik na podstawie wiarygodnych dokumentów.
Zdania niemające związku z uwierzytelnionym dokumentem mogą zostać całkowicie odfiltrowane.
Jeśli treść pochodzi z dokumentu bazowego, model bazowy przepisze niepotwierdzone zdanie tak, aby pasowało do dokumentu.
Oprócz funkcji edycji firma Microsoft ogłosiła również publiczną wersję zapoznawczą usługi Hybrid Azure AI Content Safety (AACS). Funkcja ta umożliwia programistom wdrażanie mechanizmów bezpieczeństwa treści w chmurze i na urządzeniu. Wbudowany zestaw SDK oprogramowania AACS umożliwia przeprowadzanie kontroli bezpieczeństwa treści w czasie rzeczywistym bezpośrednio na urządzeniu, nawet bez połączenia z Internetem.
Na koniec firma Microsoft ogłosiła udostępnienie wersji zapoznawczej rozwiązania Protected Materials Detection for Code, które można wykorzystać w aplikacjach AI generujących kod w celu sprawdzenia, czy LLM generuje chroniony kod. Funkcja ta była wcześniej dostępna wyłącznie za pośrednictwem usługi Azure OpenAI Service. Firma Microsoft udostępnia klientom narzędzie Protected Materials Detection for Code do wykorzystania w połączeniu z innymi modelami sztucznej inteligencji generującymi kod.