Możesz uruchomić tę sztuczną inteligencję do generowania tekstu na własnych urządzeniach, nie są potrzebne żadne gigantyczne serwery.
Naukowcy ze Stanford stworzyli model Stanford Alpaca porównywalny z GPT-3.5 — za ułamek mocy obliczeniowej i ceny. Chociaż najnowszy duży model językowy OpenAI GPT-4 okazuje się zdolny do wszelkiego rodzaju interesujących i kreatywnych zadań, ma problem, który potencjalnie może powstrzymać jego powszechne użycie: potrzebuje dużej mocy lub, jak ujął to Peter Welinder, wiceprezes OpenAI ds. produktu, GPT-4 jest „bardzo głodny GPU”.
To żadna niespodzianka. Tworzenie dużego, złożonego modelu, takiego jak GPT-4, napotkało granice mocy obliczeniowej, co skłoniło OpenAI do współpracy z działem obliczeń o wysokiej wydajności Microsoft Azure w celu stworzenia potrzebnych narzędzi.
„Jedną z rzeczy, których nauczyliśmy się z badań, jest to, że im potężniejszy model, tym więcej masz danych i im dłużej go trenujesz, tym większa jest dokładność modelu” — powiedział Nidhi Chappell, szef produktu Azure i sztucznej inteligencji w firmie Microsoft. „Tak więc istnieje silny nacisk na trenowanie większych modeli przez dłuższy czas, co oznacza nie tylko, że musisz mieć największą infrastrukturę, ale musisz być w stanie ją niezawodnie obsługiwać przez długi czas.”
Chociaż GPT-4 może być używany do wszelkiego rodzaju interesujących zadań, ma problem, który może potencjalnie powstrzymać jego powszechne użycie: wymaga dużej mocy.
Model dla mas: oznacza to jednak, że prawdziwe uruchomienie modelu GPT wymaga znacznej mocy obliczeniowej. Kiedy używasz jednego z silników GPT, tak naprawdę nie uruchamiasz samego modelu na swoim komputerze; uzyskujesz do niego zdalny dostęp przez internet. OpenAI nie udostępniło całego modelu — tak zwanych modeli o zamkniętym kodzie źródłowym.
„Te modele są również DUŻE” – napisał przedsiębiorca Simon Willison we wpisie na swoim blogu. „Nawet gdybyś mógł zdobyć model GPT-3, nie byłbyś w stanie uruchomić go na zwykłym sprzęcie”, ponieważ wymaga specjalnych komponentów, które kosztują tysiące dolarów.
Jednak zespołowi naukowców ze Stanford udało się stworzyć duży model językowy AI o wydajności porównywalnej z text-davinci-003 OpenAI — jednym z modeli w GPT-3.5 — który można uruchomić na komercyjnym sprzęcie.
Sztuczna inteligencja nosi nazwę Alpaca 7B, ponieważ jest to dopracowana wersja modelu LLaMA 7B firmy Meta. Pomimo możliwości zbliżonych do text-davinci-003, Alpaca 7B jest „zaskakująco mała i łatwa/tania w reprodukcji” – napisali naukowcy.
Szacują, że Alpaca 7B może działać na sprzęcie kosztującym mniej niż 600 USD – znacznie, znacznie taniej niż ogromna moc obliczeniowa, której OpenAI używa do uruchamiania ChatGPT i GPT-4.
Alpaca 7B została również wydana wyłącznie do celów badawczych, co stanowi odejście od odgrodzonych modeli OpenAI, które „ograniczają badania”, napisał na Twitterze badacz Tatsunori Hashimoto.
Jak stworzono Stanford Alpaca?
Aby stworzyć swój model, zespół Stanford użył text-davinci-003, aby dostroić model LLaMA 7B, dzięki czemu jest on bardziej zdolny do reagowania na podpowiedzi w sposób naturalny niż LLama w swojej surowej formie.
To, co osiągnęli, było w stanie generować dane wyjściowe, które były w dużej mierze na równi z text-davinci-003 i regularnie lepsze niż GPT-3 — a wszystko to za ułamek mocy obliczeniowej i ceny. Proces dostrajania, który obejmował 52.000 przykładów i trwał trzy godziny, został zrealizowany przy użyciu mocy obliczeniowej, która w przypadku większości dostawców przetwarzania w chmurze kosztowałaby mniej niż 100 USD.
Autorzy zauważyli, że Alpaca 7B ma pewne ważne ograniczenia! Jest przeznaczony wyłącznie do badań akademickich, a wykorzystanie komercyjne jest zabronione. Zespół podał trzy powody swojej decyzji:
- warunki użytkowania i umowy licencyjne zarówno LLaMA, jak i OpenAI surowo zabraniają rozwoju komercyjnego,
- Alpaca 7B nie ma żadnych barier ochronnych.
Wyniki: Studenci-autorzy ocenili Alpaca 7B na podstawie danych wejściowych z danych treningowych, które obejmowały różne zadania. Użytkownicy sprawdzali pisanie e-maili i narzędzia zwiększające produktywność. Następnie zespół porównał go z text-davinci-003.
„Przeprowadziliśmy ślepe porównanie parami między text-davinci-003 i Alpaca 7B i odkryliśmy, że te dwa modele mają bardzo podobną wydajność: Alpaca wygrywa 90 w porównaniu z 89 porównaniami z text-davinci-003” – napisali autorzy.
Byli „dość zaskoczeni tym wynikiem, biorąc pod uwagę mały rozmiar modelu i niewielką ilość instrukcji następujących po danych”.
Zespół stworzył sztuczną inteligencję zdolną do generowania danych wyjściowych, które były w dużej mierze na równi z text-davinci-003 OpenAI i regularnie lepsze niż GPT-3 — a wszystko to za ułamek mocy obliczeniowej i ceny.
Zespół przyznał, że Alpaca 7B ma kilka problemów, na które napotykają inne modele językowe, w tym toksyczność i stereotypowe odpowiedzi oraz „halucynacje” lub udzielanie nieprawdziwych odpowiedzi bez zastrzeżeń.
Zespół zauważył, że halucynacje wydają się szczególnie niepokojące. Na przykład na pytanie, jaka jest stolica Tanzanii, Alpaka odpowiedziała „Dar es Salaam”. Chociaż to miasto rzeczywiście znajduje się w Tanzanii, Dar es Salaam jest najbardziej zaludnionym miastem w kraju, a nie jego stolicą. Alpaka może być również wykorzystana do tworzenia dobrze napisanych dezinformacji.
Aby pomóc ograniczyć te obawy, naukowcy zachęcają ludzi do zgłaszania problemów podczas korzystania z wersji demonstracyjnej. Zespół zainstalował również dwie bariery ochronne w wersji demonstracyjnej:
- filtr opracowany przez OpenAI,
- znak wodny do identyfikacji wyników Alpaca 7B.
Demo modelu Stanford Alpaca 7B można sprawdzić pod adresem crfm.stanford.edu/alpaca.
- Dane: 52 tys. demonstracji użytych do dostrojenia modelu Alpaca.
- Proces generowania danych: kod do generowania danych.
- Kod szkoleniowy: do dostrajania modelu za pomocą interfejsu API Hugging Face.
Autorzy: Rohan Taori, Ishaan Gulrajani, Tianyi Zhang, Yann Dubois, Xuechen Li, Carlos Guestrin, Percy Liang i Tatsunori B. Hashimoto.
➔ Obserwuj nas w Google News, aby być na bieżąco!
źródło: Stnadford University | Center for Research on Foundation Models (CRFM) | Human-Centered Artificial Intelligence | freethink
Od 2005 roku zajmuję się komunikacją internetową i e-marketingiem, jestem pasjonatem urządzeń mobilnych oraz nowych technologii – i nie waham się ich używać.