Con Pathways Language Model, Google Research ha mostrato quali risultati si possano ottenere nel mondo delle reti neurali deputate alla comprensione ed elaborazione della lingua. Scopriamo qualche dettaglio in più in materia nel nostro post di oggi.
Indice dei contenuti
Pathways Language Model di Google Research, forte dei suoi 540 miliardi di parametri, dimostra il potenziale del sistema Pathways declinato – in questo caso – nella dimensione del linguaggio.
L’azienda di Mountain View ha sottoposto il suo PaLM ad un centinaio di test, ognuno dei quali mirato a mettere alla prova le abilità della rete neurale con specifici compiti che riguardano le aree della comprensione e della creazione del linguaggio.
L’aspetto più incredibile di tutto ciò è che, secondo le risultanze del team di Google Research, questa forma di intelligenza artificiale evoluta ha raggiunto dei risultati che – allo stato dell’arte – si collocano in prestazioni a dir poco significative, che non si discostano molto dalle abilità medie dell’essere umano.
Per «scalare l’addestramento» fino a 6144 chip è stato utilizzato appunto Pathways, sfruttando il parallelismo dei dati su due Pod Cloud TPU v4, impiegando su ognuno dei Pod un parallelismo standard di dati e modelli. Rispetto agli LLM precedenti – addestrati su un solo Pod TPU v3 – questa configurazione ha permesso un incremento significativo della scalabilità.
Tutto ciò si è tradotto in un’efficienza superiore in addestramento da parte di PaLM, con il risultato che l’AI ha usato il 57.8% dei FLOP hardware.
L’addestramento di PaLM è avvenuto sfruttato un agglomerato di set di dati in lingua inglese o, alternativamente, multingua. All’interno di questa sorgente di informazioni, sono stati inseriti documenti di alta qualità provenienti dal web, libri, contenuti estratti da Wikipedia, conversazioni umani e codice reperito su GitHub.
PaLM ha fatto ricorso anche a un vocabolario «senza perdite» che salvaguarda tutti gli spazi bianchi – fondamentali per il codice – e divide i caratteri Unicode (al di fuori del vocabolario) in byte, dividendo inoltre i numeri in token unitari, uno per ognuna delle cifre.
Capacità sensazionali con l’elaborazione linguistica, il ragionamento e la scrittura di codice
Dando uno sguardo a questo grafico, non può non colpire l’incredibile passo avanti compiuto dall’AI di Google nell’esecuzione dei compiti. Ancor più interessante, però, è un dato che riguarda le performance ottenute dal PaLM per quanto riguarda i Processi Linguistici Naturali (NLP) al di là della sola lingua inglese.
Le prestazioni nei test che coinvolgono più lingue – tra cui la traduzione – evidenziano risultati tutt’altro che trascurabili, sebbene la quota di contenuto non in lingua inglese per l’addestramento fosse pari al 22% del totale.
PaLM ha dimostrato anche impressionanti capacità di comprensione del linguaggio naturale (nonché della sua elaborazione), con un focus particolare sugli aspetti di causa ed effetto, o ancora, la comprensione di combinazioni di concetti in contesti appropriati o, ancora, di riuscire ad indovinare il titolo di un film da una emoji.
L’importanza del linguaggio per il genere umano
Posto che queste conquiste tecnologiche siano propedeutiche allo sviluppo di soluzioni che possano migliorare la qualità di vita delle persone, è sempre importante sottolineare quanto – il primato di donne e di uomini sulle macchine – debba essere consolidato nel tempo.
Dal grafico soprastante, non si può non notare come PaLM riesca a fare di meglio rispetto all’«essere umano medio» nel risolvere i quesiti.
Se si considera la notizia di qualche settimana fa di come, in Italia, secondo Save The Children il 51% dei quindicenni non sia in grado di comprendere un testo scritto, è facile rendersi conto di quanto sia fondamentale lavorare sulle competenze linguistiche sin dai primi anni di vita delle persone.
I commenti sono chiusi