LangChain es un marco para construir grandes modelos de lenguaje utilizando inteligencia artificial para que pueda generar texto e interactuar con humanos. asyncio es la biblioteca que se puede usar para llamar a un modelo como LLM varias veces usando el mismo comando o consulta. También proporciona un aumento en la velocidad de funcionamiento de nuestro modelo LLM para generar texto de manera eficiente.
Este artículo demuestra cómo utilizar la biblioteca 'asyncio' en LangChain.
¿Cómo utilizar/ejecutar la biblioteca “asyncio” en LangChain?
La API Async se puede utilizar como soporte para LLM, por lo que para usar la biblioteca asyncio en LangChain, simplemente siga esta guía:
Instalar requisitos previos
Instale el módulo LangChain para comenzar a usar la biblioteca asyncio en LangChain para llamar simultáneamente a LLM:
pepita instalar cadena larga
El módulo OpenAI también es necesario para crear LLM utilizando OpenAIEmbeddings:
pepita instalar abierto
Después de las instalaciones, simplemente configure la clave API de OpenAI usando el siguiente código:
importarnosimportar obtener pase
os.environ [ 'OPENAI_API_KEY' ] = getpass.getpass ( 'Clave API de OpenAI:' )
Usando asyncio para construir LLM
La biblioteca asyncio se puede utilizar para admitir LLM, ya que el siguiente código la usa en LangChain:
importar tiempoimportar asincio
#Importar bibliotecas asyncio de LangChain para usarlas
desde langchain.llms importar OpenAI
#definir la función para obtener la marca de tiempo de generación en serie
def generar_serialmente ( ) :
llm = OpenAI ( temperatura = 0.9 )
para _ en rango ( 5 ) :
resp = llm.generar ( [ '¿Qué estás haciendo?' ] )
imprimir ( resp.generaciones [ 0 ] [ 0 ] .texto )
#definir la función para obtener la marca de tiempo de la generación síncrona
asíncrono def async_generate ( llm ) :
resp = esperar llm.agenerar ( [ '¿Qué estás haciendo?' ] )
imprimir ( resp.generaciones [ 0 ] [ 0 ] .texto )
#definir la función para obtener la marca de tiempo para generar datos simultáneamente
asíncrono def generar_concurrentemente ( ) :
llm = OpenAI ( temperatura = 0.9 )
tareas = [ async_generar ( llm ) para _ en rango ( 10 ) ]
esperar asyncio.reunir ( * tareas )
#configurar la salida resultante usando asyncio para obtener salida simultánea
s = tiempo.perf_counter ( )
espera generar_concurrentemente ( )
transcurrido = tiempo.perf_counter ( ) - s
imprimir ( '\033[1m' + f 'Ejecutado simultáneamente en {elapsed:0.2f} segundos'. + '\033[0m' )
#configurar la marca de tiempo para la salida resultante para obtener salida en serie
s = tiempo.perf_counter ( )
generar_serialmente ( )
transcurrido = tiempo.perf_counter ( ) - s
imprimir ( '\033[1m' + f 'Serie ejecutada en {elapsed:0.2f} segundos'. + '\033[0m' )
El código anterior utiliza la biblioteca asyncio para medir el tiempo necesario para generar textos utilizando dos funciones distintas, como generar_serialmente() y generar_concurrentemente() :
Producción
La siguiente captura de pantalla muestra que la complejidad temporal tanto para las funciones como para la generación simultánea de texto es mejor que la generación de texto en serie:
Se trata de utilizar la biblioteca 'asyncio' para crear LLM en LangChain.
Conclusión
Para utilizar la biblioteca asyncio en LangChain, simplemente instale los módulos LangChain y OpenAI para comenzar con el proceso. La API Async puede resultar útil al crear un modelo LLM para crear chatbots para aprender de conversaciones anteriores. Esta guía explica el proceso de uso de la biblioteca asyncio para respaldar los LLM que utilizan el marco LangChain.