LangChain ir sistēma lielu valodu modeļu veidošanai, izmantojot mākslīgo intelektu, lai tā varētu ģenerēt tekstu un mijiedarboties ar cilvēkiem. Asyncio ir bibliotēka, ko var izmantot, lai vairākas reizes izsauktu modeli, piemēram, LLM, izmantojot vienu un to pašu komandu vai vaicājumu. Tas arī nodrošina mūsu LLM modeļa darbības ātrumu, lai efektīvi ģenerētu tekstu.
Šis raksts parāda, kā lietot “asyncio” bibliotēku programmā LangChain.
Kā lietot / izpildīt 'asyncio' bibliotēku LangChain?
Async API var izmantot kā atbalstu LLM, tāpēc, lai izmantotu asyncio bibliotēku LangChain, vienkārši izpildiet šo rokasgrāmatu:
Instalēšanas priekšnoteikumi
Instalējiet moduli LangChain, lai sāktu lietot asyncio bibliotēku programmā LangChain, lai vienlaikus izsauktu LLM:
pip uzstādīt langchain
OpenAI modulis ir nepieciešams arī, lai izveidotu LLM, izmantojot OpenAIEmbeddings:
pip uzstādīt openai
Pēc instalēšanas vienkārši konfigurējiet OpenAI API atslēgu, izmantojot šādu kodu:
importē mūsimportēt getpass
os.environ [ 'OPENAI_API_KEY' ] = getpass.getpass ( 'OpenAI API atslēga:' )
Izmantojot asyncio, lai izveidotu LLM
Asyncio bibliotēku var izmantot LLM atbalstam, jo LangChain to izmanto šāds kods:
imports laiksimportēt asyncio
#Asinhrono bibliotēku importēšana no LangChain, lai to izmantotu
no langchain.llms importēt OpenAI
#definējiet funkciju, lai iegūtu sērijas ģenerēšanas laikspiedolu
def generate_serially ( ) :
llm = OpenAI ( temperatūra = 0.9 )
priekš _ iekšā diapazons ( 5 ) :
resp = llm.ģenerēt ( [ 'Ko tu dari?' ] )
drukāt ( resp.paaudzēm [ 0 ] [ 0 ] .teksts )
#definējiet funkciju, lai iegūtu sinhronās ģenerēšanas laikspiedolu
async def async_generate ( llm ) :
resp = gaidiet llm.agenerate ( [ 'Ko tu dari?' ] )
drukāt ( resp.paaudzēm [ 0 ] [ 0 ] .teksts )
#definējiet funkciju, lai iegūtu datu vienlaicīgas ģenerēšanas laikspiedolu
async def generate_concurrently ( ) :
llm = OpenAI ( temperatūra = 0.9 )
uzdevumi = [ async_generate ( llm ) priekš _ iekšā diapazons ( 10 ) ]
gaidiet asyncio.gather ( * uzdevumus )
#konfigurējiet iegūto izvadi, izmantojot asinhrono metodi, lai iegūtu vienlaicīgu izvadi
s = time.perf_counter ( )
gaidiet gener_concurrently ( )
pagājis = laiks.perf_skaitītājs ( ) - s
drukāt ( '\033[1 min' + f 'Vienlaicīgi izpildīts {elapsed:0.2f} sekundēs.' + '\033[0m' )
#konfigurējiet rezultāta izvades laikspiedolu, lai iegūtu seriālo izvadi
s = time.perf_counter ( )
Gene_serially ( )
pagājis = laiks.perf_skaitītājs ( ) - s
drukāt ( '\033[1 min' + f 'Sērija izpildīta {elapsed:0.2f} sekundēs.' + '\033[0m' )
Iepriekš minētais kods izmanto asyncio bibliotēku, lai izmērītu laiku tekstu ģenerēšanai, izmantojot divas atšķirīgas funkcijas, piemēram, Gene_serially() un Gene_concurrently() :
Izvade
Šis ekrānuzņēmums parāda, ka gan funkciju, gan vienlaicīgas teksta ģenerēšanas laika sarežģītība ir labāka nekā sērijas teksta ģenerēšana:
Tas viss attiecas uz “asyncio” bibliotēkas izmantošanu, lai izveidotu LLM programmā LangChain.
Secinājums
Lai lietotu asyncio bibliotēku programmā LangChain, vienkārši instalējiet LangChain un OpenAI moduļus, lai sāktu procesu. Async API var būt noderīga, veidojot LLM modeli, lai izveidotu tērzēšanas robotus, lai mācītos no iepriekšējām sarunām. Šajā rokasgrāmatā ir izskaidrots asyncio bibliotēkas izmantošanas process, lai atbalstītu LLM, izmantojot LangChain ietvaru.