En esta era, los Transformers son los modelos más potentes que han proporcionado los mejores resultados en múltiples operaciones de PNL (Procesamiento del Lenguaje Natural). Inicialmente, se utilizó para tareas de modelado de lenguaje, incluida la generación y clasificación de texto, traducción automática y muchas más. Pero ahora también se utiliza para el reconocimiento de objetos, la clasificación de imágenes y muchas otras tareas de visión por computadora.
En este tutorial, proporcionaremos el procedimiento para realizar la clasificación de texto usando Transformers.
¿Cómo realizar la clasificación de texto utilizando transformadores?
Para realizar la clasificación de texto usando Transformers, en primer lugar, instale el ' transformadores ”biblioteca ejecutando el comando proporcionado:
! pepita instalar transformadores
Como puede ver, la biblioteca especificada se ha instalado correctamente:
Luego, importe el ' tubería ' desde el ' transformadores ' biblioteca:
de tubería de importación de transformadores
Aquí el ' tubería ”incluirá la tarea de PNL que debemos realizar y el modelo de transformador deseado para esta operación junto con el tokenizador.
Nota: El tokenizador se utiliza para realizar el procesamiento del texto que se proporcionará como entrada del modelo separando el texto en tokens.
Después de eso, use el botón ' tubería() ”Función y pásale el “ clasificación de tiro cero ”como argumento. A continuación, pase otro parámetro que es nuestro modelo. Estamos usando Facebook ' BART ”modelo transformador. Aquí, no utilizamos el tokenizador porque el modelo especificado puede inferirlo automáticamente:
text_classifier = tubería ( 'clasificación de tiro cero' , modelo = 'facebook/bart-grande-mnli' )
Ahora, declara el “ secuencia ”Variable que contiene nuestro texto de entrada que debe clasificarse. Luego, proporcionamos las categorías en las que queremos clasificar el texto y guardar en el cuadro ' laboratorio ”que se conoce como etiquetas:
laboratorio = [ 'actualizar' , 'error' , 'importante' , 'verificación' ]
Finalmente, ejecute la canalización junto con la entrada:
Después de ejecutar la canalización, como puede ver, el modelo predijo que se clasificaría nuestra secuencia proporcionada:
Información adicional: Si desea acelerar el rendimiento del modelo, debe utilizar la GPU. En caso afirmativo, entonces, para ese propósito, puede especificar un argumento de dispositivo para la canalización y configurarlo en ' 0 ”para utilizar la GPU.
Si desea clasificar el texto en más de una secuencia/instrucción de texto de entrada, puede agregarlos a una lista y pasarlo como entrada a las canalizaciones. Para ello, consulte el fragmento de código:
secuencia = [ 'La revisión y edición son componentes necesarios para garantizar claridad, coherencia y contenido libre de errores' ,'En esta era moderna, la optimización SEO es esencial para que los artículos tengan una buena clasificación y lleguen a un público más amplio' ]
clasificador_texto ( secuencia , laboratorio )
Producción
¡Eso es todo! Hemos recopilado la forma más sencilla de realizar la clasificación de texto utilizando Transformers.
Conclusión
Los transformadores se utilizan para realizar tareas de modelado de lenguaje, como generación de texto, clasificación de texto y traducción automática, así como tareas de visión por computadora, incluido el reconocimiento de objetos y la clasificación de imágenes. En este tutorial, hemos ilustrado el proceso para realizar la clasificación de texto usando Transformers.