Google podjęło taką decyzję po tym, jak jego sztuczna inteligencja stworzyła obrazy zawierające nieprawidłowe dane dotyczące rasy, koloru skóry i płci w porównaniu z historią amerykańskich ojców założycieli oraz niemieckich żołnierzy z czasów nazistowskich.

Do incydentu doszło, gdy niektórzy użytkownicy poprosili firmę Gemini o stworzenie obrazów przedstawiających grupy lub postacie historyczne, na przykład ojcowie założyciele USA. W rezultacie sztuczna inteligencja zwróciła zdjęcia osób o innym kolorze skóry niż biały, co stanowi nieścisłość w stosunku do historycznych zdjęć.
Doprowadziło to niektórych do przekonania, że Google celowo unika pokazywania białych ludzi, co jest sprzeczne z rzeczywistością historyczną.
Serwis The Verge przeprowadził test z Gemini, w ramach którego zaprezentowano rysunek „amerykańskiego senatora z XIX wieku”. W rezultacie sztuczna inteligencja stworzyła ludzi, którzy wyglądali jak czarne kobiety i rdzenni Amerykanie.

W rzeczywistości pierwszą kobietą w Senacie Stanów Zjednoczonych była biała kobieta, i to w 1922 roku. Mówi się, że wizja sztucznej inteligencji firmy Gemini ma zasadniczo wymazać historię rasizmu i dyskryminacji ze względu na płeć.
Po tym, jak Google wyłączyło możliwość generowania obrazów ludzi przez Gemini, system odpowiedział na takie żądanie następującą odpowiedzią: „Pracujemy nad ulepszeniem możliwości generowania obrazów ludzi przez Gemini. Mamy nadzieję, że ta funkcja wkrótce powróci i powiadomimy Cię, gdy aktualizacja będzie dostępna”.
Model sztucznej inteligencji do generowania tekstu Gemini (dawniej Bard) firmy Google został wprowadzony na rynek w lutym, aby konkurować z OpenAI i Copilot firmy Microsoft. Narzędzie to generuje zbiór obrazów w oparciu o opisową treść tekstową wprowadzoną przez użytkownika.