Ce este Llama 2 si cum il poti folosi?

De la GPT-4 de la OpenAI la PalM 2 de la Google, modelele de limbi mari domina titlurile tehnologice. Fiecare model nou promite sa fie mai bun si mai puternic decat precedentul, depasind uneori orice concurenta existenta.

Cu toate acestea, numarul de modele existente nu a incetinit aparitia altora noi. Acum, compania-mama a Facebook, Meta, a lansat Llama 2, un nou model de limbaj puternic. Dar ce este unic la Llama 2? Cum este diferit de GPT-4, PaLM 2 si Claude 2 si de ce ar trebui sa-ti pese?

Ce este Llama 2?

Llama 2, un model de limbaj mare, este produsul unei aliante neobisnuite dintre Meta si Microsoft, doi giganti tehnologici concurenti in fruntea cercetarii in domeniul inteligentei artificiale. Este un succesor al modelului de limbaj Meta Llama 1, lansat in primul trimestru al anului 2023.

Puteti spune ca este echivalentul lui Meta cu PaLM 2 de la Google, OpenAIs GPT-4 si Claude 2 de la Anthropic. A fost instruit pe un set vast de date de internet disponibile public, bucurandu-se de avantajul unui set de date atat mai recent, cat si mai divers decat atat. folosit pentru a antrena Llama 1. Llama 2 a fost antrenat cu 40% mai multe date decat predecesorul sau si are o lungime dubla a contextului (4k).

Daca ati avut ocazia sa interactionati cu Llama 1 in trecut, dar nu ati fost prea impresionat de rezultatul sau, Llama 2 il depaseste pe predecesorul sau si ar putea fi exact ceea ce aveti nevoie. Dar cum se comporta impotriva concurentei externe?

Cum se comporta Llama 2 fata de concurenta?

Ei bine, depinde de concurenta cu care se confrunta. In primul rand, Llama 2 este un proiect open-source. Aceasta inseamna ca Meta publica intregul model, astfel incat oricine il poate folosi pentru a construi noi modele sau aplicatii. Daca comparati Llama 2 cu alte modele majore de limbaj open-source, cum ar fi Falcon sau MBT, veti descoperi ca le depaseste in mai multe valori. Este sigur sa spunem ca Llama 2 este unul dintre cele mai puternice modele de limba mare open-source de pe piata astazi. Dar cum se confrunta cu magistrali precum GPT de la OpenAI si linia de modele AI PalM de la Google?

Am evaluat ChatGPT, Bard si Llama 2 in functie de performanta lor la teste de creativitate, rationament matematic, judecata practica si abilitati de codare.

1. Creativitate

Pentru a-i testa creativitatea si simtul umorului, i-am dat testul nostru de creativitate si sarcasm. Am cerut modelului Llama 2 AI sa simuleze o conversatie intre doua persoane care se cearta despre meritele mersului in spatiu si iata rezultatele.

Urmata de:

Si, in sfarsit:

Judecand dupa rezultatele comparatiei noastre dintre ChatGPT, Bing AI si Google, unde am folosit si acelasi test, doar raspunsul ChatGPT este semnificativ mai bun decat raspunsul lui Llama 2. Raspunsul lui Llama 2 pare sa fie destul de mai bun decat Bard de la Google. Dupa ce i-a pus pe chatboti prin mai multe sarcini creative, este clar ca ChatGPT este inca cel mai bun caine in ceea ce priveste creativitatea, dar Llama nu este cu mult in urma cu restul haitei.

2. Abilitati de codificare

Cand am comparat abilitatile de codare ale lui Llama 2 cu ChatGPT si Bard, Llama 2 a fost foarte promitator. Le-am cerut celor trei chatbot-uri AI sa genereze o aplicatie functionala pentru lista de activitati, sa scrie un joc Tetris simplu si sa creeze un sistem de autentificare sigur pentru un site web. In timp ce ChatGPT a indeplinit aproape perfect toate cele trei sarcini, Bard si Llama 2 au functionat similar, ambele fiind capabile sa furnizeze doar cod functional pentru o lista de activitati si un sistem de autentificare, dar nu au reusit cu jocul Tetris. Mai jos este o captura de ecran a aplicatiei de facut a Llama 2.

3. Abilitati matematice

In abilitatile de matematica, Llama 2 s-a dovedit, de asemenea, promitator in comparatie cu Bard, dar a fost cu mult depasit de ChatGPT in problemele de algebra si matematica de logica pe care le-am folosit pentru testul nostru. Interesant, Llama 2 a rezolvat multe dintre problemele de matematica pe care atat ChatGPT, cat si Bard nu le-au rezolvat in primele lor iteratii. Este sigur sa spunem ca Llama 2 este inferior ChatGPT in abilitatile de matematica, dar arata promitator semnificativ.

4. Bun simt si rationament logic

Commonsense este un domeniu cu care se lupta inca multi chatbot, chiar si cei consacrati precum ChatGPT. Am insarcinat ChatGPT, Bard si Llama 2 sa rezolve un set de probleme de bun simt si rationament logic. Inca o data, ChatGPT a depasit semnificativ atat Bard, cat si Llama 2. Competitia a fost intre Bard si Llama 2, iar Bard a avut un avantaj marginal fata de Llama 2 in testul nostru.

Este clar ca Llama 2 nu este inca acolo. Cu toate acestea, in apararea sa, Llama 2 este relativ nou, mai ales un „model de baza” si nu o „reglare fina”. Modelele de baza sunt modele de limbaj mari construite cu posibile adaptari viitoare in minte. Ele nu sunt reglate fin pentru niciun domeniu specific, ci sunt construite pentru a face fata unei game largi de sarcini, desi uneori cu abilitati limitate.

Pe de alta parte, un model reglat fin este un model de baza reglat pentru a-si creste eficienta intr-un anumit domeniu. Este ca si cum ati lua un model de baza precum GPT si il ajustati fin in ChatGPT, astfel incat publicul sa il poata utiliza in aplicatiile de chat.

Cum sa utilizati Llama 2 chiar acum

Cel mai simplu mod de a utiliza Llama 2 este prin intermediul platformei AI Poe a Quora sau al unei instante gazduite in cloud Hugging Face. De asemenea, puteti pune mana pe model, descarcand o copie a acestuia si ruland-o local.

Accesati Llama pe Quora Poe

Pentru a accesa Llama pe platforma Quora Poe AI:

1. Vizitati poe.com si creati un cont gratuit.
2. Conectati-va la contul dvs. pentru a dezvalui interfata de selectie a modelului AI.
   
3. Faceti clic pe pictograma Mai multe chiar deasupra campului de introducere pentru a dezvalui modelele AI disponibile.
   

Alegeti oricare dintre modelele Llama 2 disponibile si incepeti sa solicitati.

Accesati Llama pe Hugging Face

Pentru a accesa Llama on Hugging Face, deschideti linkul catre modelele Llama 2 corespunzatoare de mai jos si incepeti sa solicitati chatbot-ul AI.

1. 7B parametrii Llama-2 chat
2. 13B parametrii Llama-2 chat
3. 70B parametri Llama-2 chat

Modelele Llama de mai sus si cele de pe platforma Poe au fost reglate fin pentru aplicatii de conversatie, asa ca este cel mai apropiat de ChatGPT pe care il veti obtine pentru un model Llama-2. Nu sunteti sigur ce versiune sa incercati? Va recomandam optiunea trei, parametrii 70B Llama-2 chat. Va puteti juca in continuare cu toate cele trei modele pentru a vedea care dintre ele functioneaza cel mai bine pentru nevoile dvs. unice.

Desi va sfatuim sa incepeti cu cel mai mare model disponibil pentru a profita din plin de puterea de calcul la distanta atunci cand utilizati HuggingFace sau Poe, pentru cei care intentioneaza sa ruleze Llama 2 la nivel local, va recomandam sa inceapa cu modelul cu parametri 7B, deoarece are cele mai mici cerinte hardware.

Cerinte hardware pentru a rula Llama 2 local

Pentru performante optime cu modelul 7B, va recomandam o placa grafica cu cel putin 10 GB de VRAM, desi oamenii au raportat ca functioneaza cu 8 GB de RAM. Cand ruleaza local, urmatoarea alegere logica ar fi modelul de parametri 13B. Pentru aceasta, puteti alege GPU-uri de inalta calitate, cum ar fi RTX 3090 sau RTX 4090, pentru a va bucura de abilitatile lor. Cu toate acestea, puteti inca sa va instalati masina Windows de nivel mediu sau un MacBook pentru a rula acest lucru.

Daca doriti sa mergeti la maxim, puteti alege cel mai mare model. Cu toate acestea, acest lucru va necesita hardware de nivel enterprise pentru o performanta fericita. Prin nivel de intreprindere, vorbim de hardware in parcul unui NVIDIA A100 cu 80 GB de memorie. Modelul de parametri 70B necesita hardware specializat exceptional de puternic pentru o executie receptiva. Inca o data, este important sa clarificati ca puteti rula acest model pe o configuratie de masina mai putin puternica. Cu toate acestea, timpul de raspuns ar putea fi ingrozitor de lent, ajungand la cateva minute pentru fiecare solicitare. Luati in considerare cu atentie cerintele GPU si memorie inainte de a selecta modelul potrivit pentru nevoile dvs. Sau, utilizati instanta HuggingFace.

Daca aveti hardware-ul si profunzimea tehnica pentru a rula modelul Llama 2 la nivel local pe masina dvs., puteti solicita accesul la model folosind formularul de solicitare de acces Llama de la Meta. Dupa ce a furnizat un nume, e-mail, locatie si numele organizatiei dvs., Meta va va examina cererea, dupa care accesul va fi fie refuzat, fie va fi acordat intr-o fereastra de cateva minute pana la doua zile. Accesul mi-a fost acordat in cateva minute, asa ca sper sa ai si tu noroc.

Lama 2: Un prim pas important

Llama 2 poate sa nu fie cel mai sofisticat model de limbaj disponibil, dar, in virtutea faptului ca este open source, reprezinta un prim pas important catre dezvoltarea AI transparenta si progresiva.

In timp ce OpenAI GPT au in prezent performante mai bune, abordarea de dezvoltare a OpenAI-gradina cu pereti inseamna ca compania controleaza cresterea si ritmul de dezvoltare a modelului. Cu un model open-source precum Llama, comunitatea mai larga open-source poate inova in mod iterativ pentru a construi noi produse care ar putea sa nu fie posibile intr-un sistem de gradina cu pereti.