| Se lansează primul model dedicat limbii române pentru inteligența artificială de tip ChatGPT |  |
| (Știință) |
O echipa de cercetatori romani a creat un model de limbaj (LLM – „large language model”) dedicat limbii romane, ce poate fi folosit pentru dezvoltarea unor unelte si platforme A.I. |
Modelul este „open source”, deci va putea fi accesat si folosit de oricine doreste sa construiasca instrumente bazate pe inteligenta artificiala. Odata cu publicarea acestui LLM, initiatorii proiectului lanseaza si comunitatea OpenLLM-Ro, care doreste sa-i aduca impreuna pe toti cei care vor sa contribuie in diverse forme la dezvoltarea tehnologiilor A.I. pentru limba romana. Ambele proiecte sunt initiate si derulate de catre POLITEHNICA Bucuresti, Universitatea din Bucuresti si Institutul de Logica si Stiinta Datelor, cu sprijinul BRD Groupe Société Générale.
Desi este o tehnologie la care avem acces la scara larga de doar cativa ani, multi dintre noi am interactionat deja de foarte multe ori cu roboti conversationali, precum ChatGPT (produs de OpenAI), Copilot (dezvoltat de Microsoft), Gemini (dezvoltat de Google) etc. Insa, pentru limba romana rezultatele sunt uneori imprecise, pentru ca modelele pe care sunt instruite nu au fost expuse multor surse romanesti de date. Totodata, aceste genuri de unelte nu pot fi folosite in companii, deoarece accesul direct poate fi restrictionat din ratiuni de securitate si confidentialitate. O solutie in aceste situatii este implementarea unui model local aflat in infrastructura companiei. Aceste modele publice care pot fi folosite local sunt in general, insa, antrenate pe limba engleza sau folosind un numar redus de documente in limbile cu circulatie mai scazuta.
Modelul romanesc lansat astazi este adaptarea unui LLM public dezvoltat in principal pentru limba engleza. Insa acesta a fost expus la cateva milioane de documente in limba romana, pentru a intelege mai bine semnificatia cuvintelor. Acest lucru e esential pentru perfomanta unor astfel de modele in situatii unde exprimarea cerintei sau a intrebarii introduse de utilizator, cat si a raspunsului trebuie sa fie in limba romana. Incepand din a doua parte a anului 2023, la dezvoltarea si instruirea acestui LLM a lucrat o echipa de cercetatori de la POLITEHNICA Bucuresti, Universitatea din Bucuresti si Institutul de Logica si Stiinta Datelor. Partenerii academici au contribuit cu cercetatori care au lucrat pro-bono si, in plus, POLITEHNICA Bucuresti a pus la dispozitie si puterea de calcul necesara antrenarii modelului. Partenerul principal al proiectului este BRD Groupe Société Générale, care sustine inovatia si tehnologiile viitorului in Romania in toate formele lor.
„Pentru ca mediul economic si/sau institutional din Romania sa poata folosi aceasta noua tehnologie atat de promitatoare, este nevoie de modele specializate care sa fi intalnit o multime de conversatii si documente in limba romana. Motivul este simplu: pentru a ne putea oferi informatiile de care avem nevoie. In BRD lucram in mod constant la solutii care sa ne imbunatateasca procesele de lucru, folosind cele mai noi tehnologii care pot aduce valoare adaugata in primul rand clientilor nostri. Insa intelegem totodata ca nevoile noastre sunt comune cu ale multor altor actori institutionali si ne-am asumat misiunea de a sprijini timpuriu inovatia in domeniul inteligentei artificiale. Implicandu-ne in peisajul extrem de animat al acesteia, putem ajuta ca cele mai noi tehnologii sa aiba un impact pozitiv in societatea romaneasca aproape in acelasi ritm cu evolutiile din domeniu la nivel international”, a declarat Horia Velicu, Head of Innovation Lab in cadrul BRD Groupe Société Générale.
„Cateva dintre exemplele de utilizare ale modelului romanesc sunt: cautarea de informatii in baza de cunostinte a unei organizatii, cu ghiduri si proceduri de lucru, sau roboti conversationali pentru clientii companiilor sau ai institutiilor care sa ii ghideze in parcurgerea pasilor necesari pentru utilizarea unui produs sau serviciu. In ambele cazuri, angajatii si/sau clientii economisesc timp in accesarea informatiei, beneficiind in multe situatii si de imbunatatirea calitatii acesteia”, a spus Alin Stefanescu, directorul Departamentului de Informatica din cadrul Universitatii din Bucuresti si vicepresedintele Institutului de Logica si Stiinta Datelor.
Efortul de specializare a unui model dedicat unei limbi este frecvent coordonat de catre comunitatea academica asociata limbii respective, exemple recente fiind din tari precum Franta, Germania, Spania, Finlanda, Bulgaria. Resursele necesare sunt insa considerabile atat din punct de vedere al infrastructurii tehnice necesare (de exemplu, hardware dedicat, precum placi grafice de mare putere) cat si in ce priveste cercetatorii si programatorii experimentati. Este deci nevoie de o sustinere pe scara larga si pe termen mediu si lung din partea multor actori-cheie ai societatii: mediul economic, cel academic si nu in ultimul rand mediul guvernamental, prin programele dedicate dezvoltarii tehnologiilor de Inteligenta Artificiala.
De aceea, dezvoltatorii acestui model lanseaza in acelasi timp si comunitatea OpenLLM.ro. Aceasta isi propune sa incurajeze interactiunea intre diversi actori sau facilitatori ce doresc sa contribuie la dezvoltarea acestei tehnologii pentru limba romana si lansarea unor modele specializate pentru anumite domenii. Initierea acestui dialog intr-un mediu „open source” va accelera crearea unor modele mai performante, implementate in companiile sau institutiile romanesti, ceea ce va rezulta intr-un plus de productivitate per ansamblu a intregii societati.
„Speram ca lansarea acestui model sa fie doar inceputul unui efort de lunga durata din care sa rezulte LLM-uri mai bune pentru limba romana. Deja am descoperit o metoda pe care vrem sa o aplicam altor modele lansate recent (Llama-3 si Mistral) si care au performante in general mai bune ca cel de la care am pornit (Llama-2). Totusi, pentru a avea modele performante pentru limba romana avem nevoie de 2 tipuri de resurse: colectii de date mari si curatoriate, de calitate buna, precum si resurse hardware (in special, GPU-uri pentru antrenarea modelelor). Speram ca atat entitatile private, cat si cele publice sa inteleaga importanta dezvoltarii modelelor mari de limbaj si multimodale (text-imagini) pentru limba romana. Pe toti ii asteptam sa ni se alature in cadrul initiativei OpenLLM-Ro si a proiectelor de cercetare care o vor sprijini”, a declarat Traian Rebedea, conferentiar la POLITEHNICA Bucuresti si cercetator principal la NVIDIA, unul dintre coordonatorii tehnici ai initiativei OpenLLM-Ro.
Raportul tehnic poate fi gasit aici: https://arxiv.org/abs/2405.07703
Modelul LLM poate fi descarcat de pe platforma Hugging Face: https://huggingface.co/OpenLLM-Ro
Codul asociat modelului poate fi descarcat de pe GitHub: https://github.com/OpenLLM-Ro
Alte detalii despre proiect: https://ilds.ro/llm-for-romanian
BRD pentru educatie, tehnologie & inovatie
BRD sustine pregatirea viitoarelor generatii de specialisti si antreprenori in tehnologie. Proiectele pe care BRD le are in vedere merg in directia educatiei in disciplinele STEM: FIRST Tech Challenge Romania, laboratoarele de robotica din cadrul universitatii POLITEHNICA Bucuresti, programul Innovation Labs, parteneriatul cu Applied Data Science Centre din Universitatea din Bucuresti, programul Innovators for Children sau Conferinta How to Web. Toate acestea reunesc elevi, studenti, profesori, tineri antreprenori, experti si au impactat pana in prezent peste 50.000 de beneficiari.
.
| |
|
|
|