Model lingvistic mare
Un model lingvistic mare (în engleză large language models, abreviat LLM) este un tip de inteligență artificială care poate înțelege și genera limbaj uman. Aceste modele învață prin studierea unor cantități masive de text provenite din cărți, site-uri web și alte surse.[1]
LLM-urile funcționează prin identificarea tiparelor din limbaj. Ele învață gramatica, faptele și relațiile dintre cuvinte analizând miliarde de exemple. Deși LLM-urile sunt foarte performante, ele pot face greșeli. Uneori preiau părtinirile din datele pe care au fost antrenate și pot genera informații incorecte. Spre deosebire de oameni, ele nu au o înțelegere reală, ci doar reproduc tipare din textele existente.[2][3]
Istoric
[modificare | modificare sursă]Înainte de 2017, modelele lingvistice erau mult mai simple. Schimbarea majoră a apărut când Google a creat designul „transformer”, care a făcut modelele lingvistice mult mai performante.[4]
Printre dezvoltările importante se numără:
- 2018: A fost lansat BERT, care a ajutat calculatoarele să înțeleagă mai bine limbajul.[5]
- 2019: A fost creat GPT-2, considerat atât de puternic încât dezvoltatorii săi s-au temut de posibile abuzuri.[6]
- 2022: A fost lansat ChatGPT, devenind foarte popular în rândul publicului.[7]
Note
[modificare | modificare sursă]- ^ Redacția (). „Trend regional: Țările din ECE lansează modele lingvistice mari, care pavează calea pentru inovații”. Economedia.ro. Accesat în .
- ^ Manning, Christopher D. (), „Human Language Understanding & Reasoning”, Daedalus (în engleză), 151 (2), pp. 127–138, doi:10.1162/daed_a_01905, ISSN 0011-5266, accesat în
- ^ Vaswani, Ashish (). „Attention is All you Need” (PDF). Advances in Neural Information Processing Systems. Curran Associates, Inc. 30. Arhivat din original (PDF) la . Accesat în .
- ^ Cho, Kyunghyun; van Merrienboer, Bart; Bahdanau, Dzmitry; Bengio, Yoshua (), On the Properties of Neural Machine Translation: Encoder–Decoder Approaches, Association for Computational Linguistics, doi:10.3115/v1/w14-4012
- ^ Rogers, Anna; Kovaleva, Olga; Rumshisky, Anna (). „A Primer in BERTology: What We Know About How BERT Works”. Transactions of the Association for Computational Linguistics. 8: 842–866. arXiv:2002.12327
. doi:10.1162/tacl_a_00349. Arhivat din original la . Accesat în .
- ^ Hern, Alex (). „New AI fake text generator may be too dangerous to release, say creators”. The Guardian. Arhivat din original la . Accesat în .
- ^ „ChatGPT a year on: 3 ways the AI chatbot has completely changed the world in 12 months”. Euronews. . Arhivat din original la . Accesat în .
