Svoboda | Graniru | BBC Russia | Golosameriki | Facebook
Qaraqalpaqsha Wikipedia

GPT-3

Generativ Aldınnan Tayarlanǵan Transformator 3 (GPT-3) (ingl. Generative Pre-trained Transformer 3) – 2020 jılı OpenAI tárepinen shıǵarılǵan úlken til modeli.

Óziniń aldınǵı versiyası GPT-2 sıyaqlı[1]bul tereń neyron tarmaǵınıń tek dekoderge arnalǵan transformator modeli, ol “itibar beriw” dep atalatuǵın usıl menen qaytalanıw hám konvulsiyaǵa tiykarlanǵan arxitekturalardı almastıradı. Bul itibar beriw mexanizmi modelge eń aktual dep boljanǵan kiris tekstiniń segmentlerine tańlamalı túrde itibar beriwge imkaniyat beredi. GPT-3 175 milliard parametrge iye, olardıń hárqaysısı 16 bitlik dállik penen, 350 GB yadtı talap etedi, sebebi hárbir parametr 2 bayttı aladı. Onıń kontekstlik ayna ólshemi 2048 tokeni bar hám kóplegen tapsırmalarda kúshlik “nollik atıw” oqıw qábiletlerin kórsetti.[1]

2020 jıl 22 sentyabrde Microsoft tek GPT-3 licenziyasın alǵanın járiyaladı. Basqalar ele de hámmege ashıq API-den nátiyje ala aladı, biraq tek Microsoft korporaciyası tiykarǵı til modeline kiriw huqıqına iye.

Fon

The Economist maǵlıwmatlarınsha, jetilistirilgen algoritmler, quwatlıraq kompyuterler hám cifrlastırılǵan material sanınıń jaqında kóbeyiwi mashinalıq oqıtıwdaǵı revolyuciyanı kúsheytti. 2010 jılları jańa texnikalar “tapsırmalardı tez jaqsılawǵa”, sonıń ishinde til menen manipulyaciyalawǵa alıp keldi.[2]

Programmalıq támiynat modelleri “miydiń neyron arxitekturasına sáykes ... bos túrde qurılǵan” mıńlaǵan yamasa millionlaǵan mısallardı paydalanıw arqalı úyreniwge oqıtıladı.[2] Tábiyiy tildi qayta islewde (NLP) qollanılatuǵın arxitekturalardıń biri 2017 jılı engizilgen tereń oqıtıw modeline tiykarlanǵan neyron tarmaq − transformator arxitekturası. Tekstli kirgiziwdi qayta islewge, qazıp alıwǵa, shólkemlestiriwge, baylanıstırıwǵa hám qarama-qarsı qoyıwǵa, sonday-aq sorawlarǵa durıs juwap beriwge uqıplı bir qatar NLP sistemaları bar.[3]

2018-jıl 11-iyun kúni OpenAI izertlewshileri menen injenerleri birinshi generativ aldınnan tayarlanǵan transformator (GPT) - maǵlıwmatlar jıynaqlarında úlken hám hár túrli tekstli korpus penen aldınnan oqıtılǵan, keyin anıq wazıypaǵa baǵdarlanıw ushın diskriminativ túrde dál sazlanǵan, generativ úlken til modeli túrin usınıs etetuǵın maqala járiyaladı. GPT modelleri transformatorǵa tiykarlanǵan tereń oqıtıw neyron tarmaq arxitekturaları. Burın, eń jaqsı jumıs isleytuǵın neyron NLP modelleri kóbinese qol menen belgilengen maǵlıwmatlardıń úlken kóleminen baqlanatuǵın oqıtıwdı qollanǵan, bul júdá úlken til modellerin oqıtıw qımbat hám waqıttı talap etedi.[1] Birinshi GPT modeli "GPT-1" dep atalǵan hám onnan keyin 2019-jıl fevralda "GPT-2" shıǵarıldı. Aldınǵısınan tikkeley masshtabta rawajlanǵan, GPT-2-niń parametrler sanı da, maǵlıwmatlar jıynaǵınıń ólshemi de on esege ósti. Onıń 1,5 milliard parametrleri bar edi hám ol 8 million veb-betten ibarat maǵlıwmatlar jıynaǵında oqıtılǵan.[4]

2020 jıl fevralda Microsoft korporaciyası óziniń Turing Natural Language Generation (T-NLG) versiyasın usındı, olar “17 milliard parametr menen járiyalanǵan eń úlken til modeli” dep málimledi Ol tekstlerdi ulıwmalastırıw menen sorawlarǵa juwap beriwdi qosqanda, hár túrli tapsırmalardı orınlawda hár qanday til modeline qaraǵanda jaqsı orınladı.

Trening hám imkaniyatlar

GPT-3 tárepinen jazılǵan pedagogika haqqında studentlik esse úlgisi:

“Oqıtıw stiliniń” konstrukciyası mashqalalıq bolıp tabıladı, óytkeni ol oqıtıw stilleriniń qáliplesiw proceslerin itibarǵa almaydı. Ayırım studentler belgili bir úyreniw stilin qáliplestire aladı, óytkeni olardıń belgili bir tájiriybeleri bar. Basqaları ózleriniń úyreniw mútájliklerine jaqsı sáykes kelmegen úyreniw ortalıǵına beyimlesiwge háreket etiw arqalı belgili bir úyreniw stilin qáliplestire aladı. Aqırǵı jaǵdayda, biz úyreniw stiliniń, ortalıq faktorlardıń hám jeke faktorlardıń arasındaǵı óz-ara tásirlerdi hám olardıń qalay úyreniwimizge hám biz basqarıp atırǵan úyreniw túrlerine qalay tásir etetuǵının túsiniwimiz kerek.

2020 jıl 28 mayda OpenAI-degi 31 injener hám izertlewshiler toparı GPT-3-tiń jetiskenliklerin hám rawajlanıwı “zamanagóy til modeliniń” úshinshi áwladın táriyipleytuǵın arXiv preprintin járiyaladı. Topar GPT-3-tiń sıyımlılıǵın aldınǵı versiyası, GPT-2-ge qaraǵanda eki esege joqarı arttırdı,[5] bul GPT-3-ti hazirgi waqıttaǵı eń iri siyrek emes til modeline aylandırdı  GPT-3 strukturalıq jaqtan aldınǵısına uqsas bolǵanlıqtan, onıń úlken dálligi onıń joqarı sıyımlılıǵı menen hám parametrlerdiń kóp sanı menen baylanıslı.[6] GPT-3 sıyımlılıǵı Microsoft korporaciyasınıń Turing NLG modelinen on ese úlken, bul sol gezde belgili keyingi eń úlken NLP modeli.[7]

Lambdalabs 2020-jıldaǵı jaǵday boyınsha GPT-3-ti jeke GPU-da oqıtıw ushın shama menen 4,6 million AQSH dolları hám 355 jıl jumsalatuǵın shıǵındı bahaladı,[8] parallel túrde kóbirek GPU qollanǵanda haqıyqıy oqıtıw waqtı azıraq.

GPT-3 ushın ólshengen aldınnan oqıtıw maǵlıwmatlar jıynaǵınıń alpıs procenti 410 milliard bayt-jup kodlanǵan tokenlerdi qamtıytuǵın, Common Crawl filtrlengen versiyasınan ibarat. Onsha kórinbeytuǵın deupkikaciya Apache Spark's MinHashLSH qollandı. Basqa derekler: WebText2-den 19 alınǵan milliard token, bul ólshengen toplamnıń 22%, Books1-den 12 milliard token −88%, Books2-den 55 milliard token - 8% hám Wikipedia-dan 3 milliard token. GPT-3 júzlegen milliard sózler boyınsha oqıtıldı hám basqalar qatarında CSS, JSX hám Python-da kodlawǵa da qábiletli.

GPT-3 trening maǵlıwmatları: 
Maǵlıwmatlar jıynaǵı # tokenler Proporciya
trening sheńberinde
Common Crawl 410 mlrd 60%
WebText2 19 mlrd 22%
Books1 12 mlrd 8%
Books2 55 mlrd 8%
Wikipedia 3 mlrd 3%

GPT-3 oqıtıw maǵlıwmatları hár tárepleme bolǵanlıqtan, ol hár túrli til tapsırmaları ushın qosımsha oqıtıwdı talap etpeydi. Shınıǵıw maǵlıwmatlarında tosınnan toksik (zıyanlı) til bar hám GPT-3 oqıw maǵlıwmatlarına eliklew nátiyjesinde geyde toksik tildi jaratadı. Vashington universitetiniń izertlewi GPT-3 GPT-2 hám CTRL uqsas tábiyiy tildi qayta islew modelleri menen salıstırılatuǵın toksik dárejede toksik til shıǵaratuǵının anıqladı. OpenAI GPT-3 payda etetuǵın toksik tildiń mólsherin sheklew ushın bir neshe strategiyalardı ámelge asırdı. Nátiyjesinde GPT-3 burınǵı GPT-1 modeli menen salıstırǵanda az toksik til shıǵardı, degen menen ol tolıǵı menen Wikipedia maǵlıwmatlarında oqıtılatuǵın CTRL Wiki menen salıstırǵanda toksik tildiń kóp áwladları menen toksikligi joqarı boldı.[9]

2020 jıl 11 iyunda OpenAI paydalanıwshılar OpenAI-ge usı jańa texnologiyanıń “kúshleri menen sheklewlerin” izertlewge járdemlesiw ushın paydalanıwshıǵa qolaylı GPT-3 API — “mashinalıq oqıtıw qurallarınıń jıynaǵı”na kiriwdi soray alatuǵının járiyaladı.[10][11] Shaqırıw bul API-de ádettegi bir qollanıw jaǵdayınıń ornına “hár qanday inglis tilindegi tapsırmanı” derlik orınlay alatuǵın ulıwma maqsetli “tekstti kirgiziw, tekst shıǵarıw” interfeysi bar ekenin táriyipledi.[10] OpenAI GPT-3 API jeke erte shıǵarılımına kirgen bir paydalanıwshınıń aytıwınsha, GPT-3 bir neshe ápiwayı keńesler menen “tańqalarlıq úylesimli tekstti” jazıwda “júdá jaqsı” boldı.[12] Dáslepki eksperimentte AQSHtıń 80 subyektine qısqa ~200 sózlik maqalanı adamlar yamasa GPT-3 jazǵan ba, sonı anıqlaw soraldı. Qatnasıwshılar waqıttıń 52% durıs bahaladı, bul tosınnan boljawdan sál ǵana jaqsıraq.

2021 jıl 18-noyabrde OpenAI API-ge kiriw sheklewsiz bolatuǵınday jetkilikli qáwipsizlik ilajları engizilgenin xabarladı.[13] OpenAI islep shıǵarıwshılarǵa OpenAI kontent siyasatına ámel etiwge járdemlesetuǵın kontentti moderaciyalaw quralı menen támiyinledi.[14] 2022 jıl 22 yanvarda OpenAI óziniń eń jańa GPT-3 til modelleri (birge InstructGPT dep ataladı) endi API interfeysinde qollanılatuǵın ádepki til modeli ekenin járiyaladı. OpenAI maǵlıwmatları boyınsha, InstructGPT kórsetpelerdi jaqsıraq orınlap, az dúzilgen faktlerdi generaciyalaw hám toksikligi az kontentti shıǵarıw arqalı paydalanıwshı niyetine jaqsıraq sáykeslendirilgen kontentti shıǵardı.[15]

GPT-3 “adam bahalawshıları adam jazǵan maqalalardan ajıratıwǵa qıynalatuǵın jańalıqlar maqalaların jarata alatuǵınlıqtan” GPT-3 “til modelleriniń paydalı hám zıyanlı qosımshaların ilgeriletiw imkaniyatına” iye. 2020 jıl 28 maydaǵı maqalasında izertlewshiler “jalǵan informaciya, spam, fishing, nızamlı hám húkimetlik proceslerdi teris paydalanıw, jalataylıq akademiyalıq esse jazıw hám sociallıq injenerlik sıltawlardı” qamtıytuǵın GPT-3[7] itimal “zıyanlı tásirlerin” tolıǵı menen táriyipledi. Avtorlar qáwip-qáterdi azaytıw boyınsha izertlewlerge shaqırıw ushın usı qáwiplerge itibar beredi.

GPT-3 nollik atıw hám az atıw (sonıń ishinde bir retlik) oqıwdı orınlawǵa qábiletli.

2022 jıl iyunda Almira Osmanovich Tunstrem GPT-3 ózi tuwralı maqalanıń tiykarǵı avtorı ekenin,[16] olar onı járiyalawǵa usınǵanın hám onıń sholıwınıń juwmaqlanıwın kútiw waqtında aldınnan járiyalanǵanın jazdı.[17]

GPT-3 modelleri

GPT-3 shańaraǵında kóplegen modeller bar, olardıń ayırımları basqalarǵa qaraǵanda hár túrli maqsetlerge xızmet etedi. OpenAI tárepinen járiyalanǵan dáslepki izertlew maqalasında olardıń tiykarǵı GPT-3 modeliniń 8 túrli ólshemderi bar ekenligi aytılǵan:

Model atı Parameterler API atı
GPT-3 Small 125 M n/a
GPT-3 Medium 350 M ada
GPT-3 Large 760 M n/a
GPT-3 XL 1.3 B babbage
GPT-3 2.7B 2.7 B n/a
GPT-3 6.7B 6.7 B curie
GPT-3 13B 13B n/a
GPT-3 175B 175B davinci

Modellerdiń yarımına API arqalı qoljetimli boladı, atap aytqanda GPT-3-medium, GPT-3-xl, GPT-3-6.7B hám GPT-3-175b, olardı sáykesinshe ada, babbage, curie hám davinci dep atadı. API úlgileriniń ólshemin OpenAI dáslebinde ashpaǵanı menen, EleutherAI model ólshemleri menen API atları arasındaǵı salıstırıwdı 2021 jıl mayda járiyaladı.[18] Bul model ólshemlerin keyin OpenAI bunı tastıyıqladı,[19] biraq keyingi modellerdiń ólshemleri ashılǵan joq.

Generativ Aldınnan Tayarlanǵan Transformator 3.5 (GPT-3.5) – 2022 jılı OpenAI tárepinen jaratılǵan GPT-3 modelleriniń kishi klası.

2022 jıl 15 martta OpenAI "text-davinci-002" hám "code-davinci-002" atları menen redaktorlaw hám ornatıw imkaniyatları bar API-de GPT-3 hám Codex-tiń jańa versiyaların qoljetimli etti.[20] Bul modeller aldınǵı versiyalardan kóbirek qábiletli dep táriyipledi hám 2021 jıl iyunǵa shekemgi maǵlıwmatlar boyınsha oqıtıldı.[21] 2022 jıl 28 noyabrde OpenAI text-davinci-003-ti usındı.[22] 2022 jıl 30 noyabrde OpenAI bul modellerdi “GPT-3.5” seriyasına tiyisli dep ayta basladı,[21] hám GPT-3.5 seriyasındaǵı model boyınsha dál sazlanǵan ChatGPT-di shıǵardı.[23] OpenAI GPT-3-ke GPT-3.5-ti qospaydı.[24]

Modeller

Úsh model bar:[25]

  • Chat
    • gpt-3.5-turbo
  • Text completion
    • text-davinci-003
    • text-davinci-002

GPT-3.5 aldınnan kóriw menen

2023 jıl 10 aprelde OpenAI GPT-3.5 seriyası modeliniń GPT-3.5 Browsing (ALPHA) dep atalǵan jańa variyantın usındı.[26] Bul jańalanǵan model óziniń aldınǵı "text-davinci-002" hám "code-davinci-002" modelleriniń imkaniyatlarına tiykarlanǵan dep táriyipledi.[27] GPT-3.5 Browsing (ALPHA) modeli onlayn informaciyaǵa kiriw hám sholıw imkaniyatın qosıp aldı. Bul paydalanıwshı sorawlarına kóbirek dál hám jańalanǵan juwaplar beriwge alıp keldi.[26]

GPT-3.5 Browsing (ALPHA) modeli 2021 jıl sentyabrge shekemgi maǵlıwmatlar boyınsha oqıtılǵan, bul onıń 2021 jıl iyunǵa shekemgi maǵlıwmatlar boyınsha oqıtılǵan aldınǵı GPT-3.5 modellerine qaraǵanda kóbirek informaciyaǵa beredi. Model islep shıǵarıwshılar menen paydalanıwshılarǵa onlayn informaciyanı ónimli alıw hám sintezley alatuǵın jetilistirilgen tábiyiy tildi qayta islew quralın usınıwǵa háreket etti.[26]

Sholıw imkaniyatların ámelge asırıw ushın, OpenAI GPT-3.5 Browsing (ALPHA) modeli jumıs waqtında tańlanǵan onlayn resurslarǵa kiriwge imkaniyat beretuǵın jańa API engizdi.[28] Bul imkaniyat paydalanıwshılarǵa sorawlar beriwge yamasa model oǵan qoljetimli eń sońǵı onlayn dereklerge tiykarlanǵan jańalanǵan, dál hám sáykes juwaplardı beredi dep kútiw arqalı informaciya sorawǵa imkaniyat beredi.

2023 jıl 27 aprelde OpenAI GPT Plus paydalanıwshıları ushın GPT-3.5 Browsing (ALPHA) modelin hámmege qoljetimli etti. Bul kóbirek adamlardıń jańa imkaniyatlarǵa erisiwine imkaniyat berdi.[28]

Derekler

  1. ↑ 1,0 1,1 1,2 Radford. „Improving Language Understanding by Generative Pre-Training“ (11-iyun 2018-jıl). 26-yanvar 2021-jılda túp nusqadan arxivlendi. Qaraldı: 31-iyul 2020-jıl. Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "OpenAI_Radford_20200611" defined multiple times with different content
  2. ↑ 2,0 2,1 "An understanding of AI's limitations is starting to sink in". The Economist. June 11, 2020. ISSN 0013-0613. https://www.economist.com/technology-quarterly/2020/06/11/an-understanding-of-ais-limitations-is-starting-to-sink-in.  Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "theeconomist_20200611" defined multiple times with different content
  3. ↑ „Natural Language Processing“. 22-avgust 2020-jılda túp nusqadan arxivlendi. Qaraldı: 31-iyul 2020-jıl.
  4. ↑ „Archived copy“. 6-fevral 2021-jılda túp nusqadan arxivlendi. Qaraldı: 28-aprel 2023-jıl.
  5. ↑ „Language Models are Unsupervised Multitask Learners“. openai.com. — „"GPT-2, is a 1.5B parameter Transformer"“. 12-dekabr 2019-jılda túp nusqadan arxivlendi. Qaraldı: 4-dekabr 2019-jıl.
  6. ↑ Ray. „OpenAI's gigantic GPT-3 hints at the limits of language models for AI“. ZDNet (1-iyun 2020-jıl). 1-iyun 2020-jılda túp nusqadan arxivlendi. Qaraldı: 31-iyul 2020-jıl.
  7. ↑ 7,0 7,1 Silteme kórsetiwdegi qátelik: Жарамсыз <ref> тегі; no text was provided for refs named analyticsindiamag_Sagar_20200603
  8. ↑ Li, Chuan (June 3, 2020), OpenAI's GPT-3 Language Model: A Technical Overview, March 27, 2023da túp nusqadan arxivlendi, qaraldı: March 27, 2023
  9. ↑ Gehman, Samuel; Gururangan, Suchin; Sap, Maarten; Choi, Yejin; Smith, Noah A. (16–20 November 2020), REALTOXICITYPROMPTS: Evaluating Neural Toxic Degeneration in Language Models, 3356–3369-bet, arXiv:2009.11462 {{citation}}: Unknown parameter |publisher= ignored (járdem)
  10. ↑ 10,0 10,1 „OpenAI API“. OpenAI (11-iyun 2020-jıl). 11-iyun 2020-jılda túp nusqadan arxivlendi. Qaraldı: 31-iyul 2020-jıl.
  11. ↑ Coldewey. „OpenAI makes an all-purpose API for its text-based AI capabilities“. TechCrunch (11-iyun 2020-jıl). — „If you've ever wanted to try out OpenAI's vaunted machine learning toolset, it just got a lot easier. The company has released an API that lets developers call its AI tools in on "virtually any English language task."“. 27-oktyabr 2021-jılda túp nusqadan arxivlendi. Qaraldı: 31-iyul 2020-jıl.
  12. ↑ Arram. „GPT-3: An AI that's eerily good at writing almost anything“. Arram Sabeti (9-iyul 2020-jıl). 20-iyul 2020-jılda túp nusqadan arxivlendi. Qaraldı: 31-iyul 2020-jıl.
  13. ↑ „OpenAI's API Now Available with No Waitlist“ (en). OpenAI (18-noyabr 2021-jıl). 5-noyabr 2022-jılda túp nusqadan arxivlendi. Qaraldı: 5-noyabr 2022-jıl.
  14. ↑ „OpenAI API“ (en). beta.openai.com. 23-dekabr 2022-jılda túp nusqadan arxivlendi. Qaraldı: 5-noyabr 2022-jıl.
  15. ↑ „Aligning Language Models to Follow Instructions“ (en). OpenAI (27-yanvar 2022-jıl). 5-noyabr 2022-jılda túp nusqadan arxivlendi. Qaraldı: 5-noyabr 2022-jıl.
  16. ↑ Thunström. „We Asked GPT-3 to Write an Academic Paper about Itself – Then We Tried to Get It Published“. Scientific American (30-iyun 2022-jıl). 30-iyun 2022-jılda túp nusqadan arxivlendi. Qaraldı: 30-iyun 2022-jıl.
  17. ↑ Transformer. „Can GPT-3 write an academic paper on itself, with minimal human input?“ (fr). Archive ouverte HAL (21-iyun 2022-jıl). 30-iyun 2022-jılda túp nusqadan arxivlendi. Qaraldı: 30-iyun 2022-jıl.
  18. ↑ Gao. „On the Sizes of OpenAI API Models“. EleutherAI Blog. EleutherAI (24-may 2021-jıl). Qaraldı: 23-noyabr 2023-jıl.
  19. ↑ „Model index for researchers“. OpenAI. Qaraldı: 23-noyabr 2023-jıl.
  20. ↑ „New GPT-3 Capabilities: Edit & Insert“ (en). OpenAI (15-mart 2022-jıl). 13-yanvar 2023-jılda túp nusqadan arxivlendi. Qaraldı: 13-yanvar 2023-jıl.
  21. ↑ 21,0 21,1 „OpenAI API“. platform.openai.com. 20-mart 2023-jılda túp nusqadan arxivlendi. Qaraldı: 15-mart 2023-jıl.
  22. ↑ „Check out OpenAI's new text-davinci-003! Same underlying model as text-davinci-002 but more aligned. Would love to hear feedback about it! / Twitter“. 15-mart 2023-jılda túp nusqadan arxivlendi. Qaraldı: 6-may 2023-jıl.
  23. ↑ „ChatGPT: Optimizing Language Models for Dialogue“ (en). OpenAI (30-noyabr 2022-jıl). 30-noyabr 2022-jılda túp nusqadan arxivlendi. Qaraldı: 13-yanvar 2023-jıl.
  24. ↑ „OpenAI API“. 17-mart 2023-jılda túp nusqadan arxivlendi. Qaraldı: 6-may 2023-jıl.
  25. ↑ „OpenAI API“. 6-may 2023-jılda túp nusqadan arxivlendi. Qaraldı: 6-may 2023-jıl.
  26. ↑ 26,0 26,1 26,2 tingetici. „Default (GPT-3.5) with browsing ALPHA -- NEW Model showed up just now.“. r/OpenAI (10-aprel 2023-jıl). 27-aprel 2023-jılda túp nusqadan arxivlendi. Qaraldı: 27-aprel 2023-jıl. Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name ":0" defined multiple times with different content
  27. ↑ „Introducing GPT-3.5 Series: text-davinci-002 and code-davinci-002 Models“ (en). OPEN AI (15-mart 2022-jıl). 20-mart 2023-jılda túp nusqadan arxivlendi. Qaraldı: 27-aprel 2023-jıl.
  28. ↑ 28,0 28,1 „GPT-3.5 with Browsing (ALPHA) Now Available for GPT Plus Users“ (en). OPEN AI (27-aprel 2023-jıl). 20-mart 2023-jılda túp nusqadan arxivlendi. Qaraldı: 27-aprel 2023-jıl. Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name ":2" defined multiple times with different content
Silteme kórsetiwdegi qátelik: <ref> tag with name "preprint" defined in <references> is not used in prior text.
«https://kaa.wikipedia.org/w/index.php?title=GPT-3&oldid=89200» saytınan alınǵan