Koniec ery wielkich modeli językowych? Sam Altman z OpenAI o nowych trendach i perspektywach.
Wielkie modele językowe, takie jak GPT-3 oraz następujący po nim GPT-4, zdobyły globalną popularność i uznanie, rewolucjonizując dziedzinę przetwarzania języka naturalnego.
Jednak Sam Altman, dyrektor generalny OpenAI, uważa, że era gigantycznych modeli AI już się skończyła.
Zwroty słabną
W przeszłości OpenAI osiągnęła imponujące postępy w dziedzinie AI, pracując z językiem, skalując istniejące algorytmy uczenia maszynowego do wcześniej nieosiągalnych rozmiarów. Na przykład GPT-4, najnowszy z tych projektów, prawdopodobnie został wytrenowany za pomocą bilionów słów tekstu i wielu tysięcy potężnych chipów komputerowych. Proces kosztował ponad 100 milionów dolarów. Jednak według Altmana, GPT-4 może być ostatnim znaczącym postępem wynikającym z powiększania modeli i dostarczania im więcej danych. Dlaczego? – opracowanie OpenAI dotyczące GPT-4, sugeruje spadek zwrotów z powiększania rozmiaru modelu. Altman zauważył również, że istnieją fizyczne limity dotyczące ilości centrów danych, które firma może budować i szybkości, z jaką mogą one powstawać.
Jednocześnie szef OpenAI zapowiedział na jednym z wydarzeń MIT, ulepszanie ich w inny sposób. Jakie techniki mogą zająć miejsce dotychczasowej strategii? – tego jeszcze nie zdradził.
Czas na kolejne innowacje
Nick Frost, współzałożyciel Cohere, który wcześniej pracował nad AI w Google, zgadza się z Altmanem, że postęp w transformatorach, typie modelu uczenia maszynowego, który leży u podstaw GPT-4 i podobnych mu modeli, leży poza skalowaniem. Nowe projekty modeli AI, lub architektury, oraz dalsze opracowywanie na podstawie opinii człowieka, to obiecujące kierunki. Pracuje nad nimi już wielu badaczy.
Chociaż OpenAI utrzymuje wielkość i działanie GPT-4 w tajemnicy, prawdopodobnie niektóre z jego inteligencji już wynikają z patrzenia poza samą skalę. Jedna z możliwości to wykorzystanie metody uczenia przez wzmacnianie, która została użyta do ulepszenia ChatGPT. Polega na ocenianiu przez ludzi jakości odpowiedzi modelu, aby skierować go w kierunku dostarczania informacji, mających większą szansę otrzymać wysokiej jakości ocenę.
Od jakiegoś czasu krążą również plotki, że firma pracuje już nad nową wersją GPT. Model ten został nawet wspomniany w słynnej petycji nawołującej do półrocznej pauzy nad rozwijaniem AI. Altman dementuje jednak te pogłoski i podkreśla, że prace nad GPT-5 nie ruszą jeszcze przez jakiś czas.
Czy to oznacza, że epoka wielkich modeli językowych dobiega końca? Czy to początek nowej ery w technologii przetwarzania języka naturalnego, gdzie rozmiar modelu przestaje być kluczowym czynnikiem? Tylko czas pokaże.