Het draaiend houden en onderhouden van de immens populaire chatbot ChatGPT is peperduur. Het kost OpenAI dagelijks ruwweg 700.000 dollar om de infrastructuur van de AI draaiende te houden, zo blijkt uit onderzoek van SemiAnalysis.
De essentie: “Het grootste deel van deze kosten is gebaseerd op de dure servers die het bedrijf (OpenAI, red.) nodig heeft om de chatbot draaiend te houden”, vertelde Dylan Patel, hoofdanalist bij SemiAnalysis, aan The Information.
- Dat komt omdat ChatGPT enorme hoeveelheden rekenkracht nodig heeft om antwoorden te berekenen voor de duizenden vragen die de AI dagelijks moet verwerken.
- Patel suggereert daarnaast dat de kosten momenteel nog hoger zouden kunnen uitvallen, aangezien de schattingen van SemiAnalysis gebaseerd waren op GPT-3, de voorloper van OpenAI’s nieuwste GPT-4 model. De geavanceerde GPT-4 zal naar verwachting nog duurder in gebruik zijn.
De achtergrond: OpenAi gebruikt momenteel grafische kaarten (GPU) van Nvidia om zijn eigen AI-infrastructuur draaiende te houden. Deskundigen verwachten dat het bedrijf waarschijnlijk ruim 30.000 extra GPU’s nodig zal hebben om zijn dienst voor de rest van 2023 soepel te laten werken.
- De afgelopen maanden heeft ChatGPT verschillende malen geworsteld met het flink toegenomen aantal gebruikers, waardoor de dienst regelmatig niet toegankelijk was.
- Het bedrijf probeerde dit te verhelpen met de introductie van een betaalde abonnementsvorm genaamd ChatGPT Plus. Hiermee krijgen gebruikers voorrang op onbetaalde gebruikers en toegang tot GPT-4.
Athena
Eigen chip: de hoge kosten die nodig zijn om het AI-systeem draaiend te houden is geen probleem waar enkel OpenAI tegenaan loopt. AI’s zijn ongelooflijk duur om te gebruiken, vanwege het hoge energieverbruik van de dure gespecialiseerde chips die het systeem aansturen.
- Dat is precies waarom Microsoft – een belangrijke investeerder van OpenAI – momenteel bezig is met de ontwikkeling van zijn eigen AI-chip, genaamd Athena. Met de chip hoopt het bedrijf het huidige systeem van Nvidia te vervangen voor een meer efficiënt en energiezuinig systeem.
- “Athena zou de kosten per chip met een derde kunnen verminderen in vergelijking met het aanbod van Nvidia”, vertelde Patel aan nieuwsmedium The Information.
- Momenteel zouden ruim 300 werknemers van Microsoft aan de ontwikkeling van de chip werken. De chip zou volgend jaar al kunnen worden vrijgegeven voor intern gebruik door het bedrijf.