XLNet

XLNet

Tipus	article científic
Versió inicial	19 juny 2019
Gènere	Large language model Transformer (deep learning architecture)
Llicència	Apache-2.0
Disponible en	anglès
Equip
Creador/s	Google AI

XLNet era un transformador autoregressiu dissenyat com una millora respecte a BERT, amb 340 milions de paràmetres i entrenat amb 33.000 milions de paraules. Es va publicar el 19 de juny de 2019, sota la llicència Apache 2.0. Va aconseguir resultats d'avantguarda en una varietat de tasques de processament del llenguatge natural, incloent-hi la modelització del llenguatge, la resposta a preguntes i la inferència del llenguatge natural.

Arquitectura

La idea principal de XLNet és modelar el llenguatge autoregressivament com els models GPT, però permetent totes les permutacions possibles d'una frase. Concretament, considereu la frase següent:

El meu gos és bufó.

En el modelatge estàndard del llenguatge autoregressiu, el model tindria la tasca de predir la probabilitat de cada paraula, condicionada a les paraules anteriors com a context:

Factoritzem la probabilitat conjunta d'una seqüència de paraules $x_{1},\ldots ,x_{T}$ utilitzant la regla de la cadena: $$\Pr(x_{1},\ldots ,x_{T})=\Pr(x_{1})\Pr(x_{2}|x_{1})\Pr(x_{3}|x_{1},x_{2})\ldots \Pr(x_{T}|x_{1},\ldots ,x_{T-1}).$$

Per exemple, l'oració "El meu gos és bufó" es factoritza com:

$$\Pr({\text{El meu}},{\text{gos}},{\text{és}},{\text{bufó}})=\Pr({\text{El meu}})\Pr({\text{gos}}|{\text{El meu}})\Pr({\text{és}}|{\text{El meu}},{\text{dog}})\Pr({\text{bufó}}|{\text{El meu}},{\text{gos}},{\text{és}}).$$

Esquemàticament, ho podem escriure com

$${\texttt {<MASK>}}{\texttt {<MASK>}}{\texttt {<MASK>}}{\texttt {<MASK>}}\to {\text{My }}{\texttt {<MASK>}}{\texttt {<MASK>}}{\texttt {<MASK>}}\to {\text{El meu gos }}{\texttt {<MASK>}}{\texttt {<MASK>}}\to {\text{El meu gos }}{\texttt {<MASK>}}\to {\text{El meu gos és bufó}}.$$Tanmateix, per a XLNet, el model ha de predir les paraules en un ordre generat aleatòriament. Suposem que hem mostrejat un ordre 3241 generat aleatòriament, aleshores, esquemàticament, el model ha de realitzar la següent tasca de predicció:

$${\texttt {<MASK>}}{\texttt {<MASK>}}{\texttt {<MASK>}}{\texttt {<MASK>}}\to {\texttt {<MASK>}}{\texttt {<MASK>}}{\text{is }}{\texttt {<MASK>}}\to {\texttt {<MASK>}}{\text{dog is }}{\texttt {<MASK>}}\to {\texttt {<MASK>}}{\text{gos és bufó}}\to {\text{El meu gos és bufó}}$$

En considerar totes les permutacions, XLNet és capaç de capturar dependències a llarg termini i modelar millor el context bidireccional de les paraules.

Autoatenció en dos corrents

Per implementar el modelatge del llenguatge de permutació, XLNet utilitza un mecanisme d'autoatenció de dos fluxos. Els dos fluxos són:

• Flux de contingut: aquest flux codifica el contingut de cada paraula, com en l'autoatenció estàndard emmascarada causalment.
• Flux de consultes: aquest flux codifica el contingut de cada paraula en el context del que s'ha explicat anteriorment. Amb més detall, és un mecanisme d'atenció creuada emmascarada, on les consultes provenen del flux de consultes i els parells clau-valor provenen del flux de contingut.

El flux de contingut utilitza la màscara causal

$$M_{\text{causal}}={\begin{bmatrix}0&-\infty &-\infty &\dots &-\infty \\0&0&-\infty &\dots &-\infty \\0&0&0&\dots &-\infty \\\vdots &\vdots &\vdots &\ddots &\vdots \\0&0&0&\dots &0\end{bmatrix}}$$permutat per una matriu de permutació aleatòria a

$PM_{\text{causal}}P^{-1}$.

El flux de consultes utilitza la màscara d'atenció creuada $P(M_{\text{causal}}-\infty I)P^{-1}$, on la diagonal es resta específicament per evitar que el model "faci trampa" mirant el flux de contingut per saber què és el token emmascarat actual.

Igual que l'emmascarament causal per als models GPT, aquesta arquitectura emmascarada de dos fluxos permet que el model s'entreni en tots els tokens en una sola passada directa.

Formació

Es van llançar dos models:

• XLNet-Large, encapsulat: 110M paràmetres, 24 capes, 1024 ocults, 16 capçals
• XLNet-Base, encapsulat: 340M paràmetres, 12 capes, 768 ocults, 12 capçals.

Es va entrenar en un conjunt de dades que ascendia a 32.890 milions de tokens després de la tokenització amb SentencePiece. El conjunt de dades estava compost per BooksCorpus, la Viquipèdia en anglès, Giga5, ClueWeb 2012-B i Common Crawl.

Es va entrenar en 512 xips TPU v3 durant 5,5 dies. Al final de l'entrenament, encara no ajustava prou bé les dades, cosa que significa que podria haver aconseguit una pèrdua més baixa amb més entrenament. Va fer 0,5 milions de passos amb un optimitzador Adam, una disminució de la taxa d'aprenentatge lineal i una mida de lot de 8192.