Ātrā kontūra
Šajā ziņā ir šādas sadaļas:
- Kā lietot Async API aģentu LangChain
- 1. metode: sērijas izpildes izmantošana
- 2. metode: vienlaicīgas izpildes izmantošana
- Secinājums
Kā lietot Async API aģentu LangChain?
Tērzēšanas modeļi veic vairākus uzdevumus vienlaikus, piemēram, izprot uzvednes struktūru, tās sarežģītību, iegūst informāciju un daudz ko citu. Async API aģenta izmantošana programmā LangChain ļauj lietotājam izveidot efektīvus tērzēšanas modeļus, kas vienlaikus var atbildēt uz vairākiem jautājumiem. Lai uzzinātu Async API aģenta lietošanas procesu programmā LangChain, vienkārši izpildiet šo rokasgrāmatu:
1. darbība: ietvaru instalēšana
Vispirms instalējiet LangChain ietvaru, lai iegūtu tās atkarības no Python pakotņu pārvaldnieka:
pip instalēt langchain
Pēc tam instalējiet OpenAI moduli, lai izveidotu valodas modeli, piemēram, llm, un iestatītu tā vidi:
pip install openai
2. darbība: OpenAI vide
Nākamais solis pēc moduļu uzstādīšanas ir vides iekārtošana izmantojot OpenAI API atslēgu un Serper API lai meklētu datus no Google:
imports tu
imports getpass
tu . aptuveni [ 'OPENAI_API_KEY' ] = getpass . getpass ( 'OpenAI API atslēga:' )
tu . aptuveni [ 'SERPER_API_KEY' ] = getpass . getpass ( 'Serpera API atslēga:' )
3. darbība. Bibliotēku importēšana
Tagad, kad vide ir iestatīta, vienkārši importējiet vajadzīgās bibliotēkas, piemēram, asyncio un citas bibliotēkas, izmantojot LangChain atkarības:
no langchain. aģenti imports inicializēt_aģents , load_toolsimports laiks
imports asyncio
no langchain. aģenti imports Aģenta veids
no langchain. llms imports OpenAI
no langchain. atzvani . stdout imports StdOutCallbackHandler
no langchain. atzvani . marķieri imports LangChainTracer
no aiohttp imports ClientSession
4. darbība: iestatīšanas jautājumi
Iestatiet jautājumu datu kopu, kurā ir vairāki vaicājumi, kas saistīti ar dažādiem domēniem vai tēmām, kuras var meklēt internetā (Google):
jautājumiem = ['Kurš ir 2021. gada ASV atklātā čempionāta uzvarētājs' ,
'Kāds ir Olīvijas Vaildas puiša vecums' ,
'Kas ir formulas 1 pasaules čempiona titula ieguvējs' ,
'Kas uzvarēja US Open sieviešu finālā 2021. gadā' ,
'Kas ir Bejonses vīrs un kāds ir viņa vecums' ,
]
1. metode: sērijas izpildes izmantošana
Kad visas darbības ir pabeigtas, vienkārši izpildiet jautājumus, lai iegūtu visas atbildes, izmantojot sērijas izpildi. Tas nozīmē, ka vienlaikus tiks izpildīts/parādīts viens jautājums, kā arī tiks atgriezts viss laiks, kas nepieciešams šo jautājumu izpildei:
llm = OpenAI ( temperatūra = 0 )instrumenti = load_tools ( [ 'google-header' , 'llm-math' ] , llm = llm )
aģents = inicializēt_aģents (
instrumenti , llm , aģents = Aģenta veids. ZERO_SHOT_REACT_DESCRIPTION , runīgs = Taisnība
)
s = laiks . perf_counter ( )
#laika skaitītāja konfigurēšana, lai iegūtu visam procesam izmantoto laiku
priekš q iekšā jautājumi:
aģents. palaist ( q )
pagājis = laiks . perf_counter ( ) - s
#izdrukājiet kopējo laiku, ko aģents izmantojis atbilžu iegūšanai
drukāt ( f 'Sērija izpildīta {elapsed:0.2f} sekundēs.' )
Izvade
Nākamajā ekrānuzņēmumā redzams, ka uz katru jautājumu tiek atbildēts atsevišķā ķēdē, un, kad pirmā ķēde ir pabeigta, otrā ķēde kļūst aktīva. Sērijveida izpilde aizņem vairāk laika, lai saņemtu visas atbildes atsevišķi:
2. metode: vienlaicīgas izpildes izmantošana
Vienlaicīgas izpildes metode ņem visus jautājumus un saņem atbildes uz tiem vienlaicīgi.
llm = OpenAI ( temperatūra = 0 )instrumenti = load_tools ( [ 'google-header' , 'llm-math' ] , llm = llm )
#Aģenta konfigurēšana, izmantojot iepriekš minētos rīkus, lai vienlaikus saņemtu atbildes
aģents = inicializēt_aģents (
instrumenti , llm , aģents = Aģenta veids. ZERO_SHOT_REACT_DESCRIPTION , runīgs = Taisnība
)
#laika skaitītāja konfigurēšana, lai iegūtu visam procesam izmantoto laiku
s = laiks . perf_counter ( )
uzdevumus = [ aģents. slimība ( q ) priekš q iekšā jautājumiem ]
gaidiet asyncio. pulcēties ( *uzdevumi )
pagājis = laiks . perf_counter ( ) - s
#izdrukājiet kopējo laiku, ko aģents izmantojis atbilžu iegūšanai
drukāt ( f 'Vienlaicīgi izpildīts {elapsed:0.2f} sekundēs' )
Izvade
Vienlaicīga izpilde izvelk visus datus vienlaikus un aizņem daudz mazāk laika nekā sērijveida izpilde:
Tas viss attiecas uz Async API aģenta izmantošanu programmā LangChain.
Secinājums
Lai lietotu Async API aģentu programmā LangChain, vienkārši instalējiet moduļus, lai importētu bibliotēkas no to atkarībām, lai iegūtu asyncio bibliotēku. Pēc tam iestatiet vides, izmantojot OpenAI un Serper API atslēgas, pierakstoties to attiecīgajos kontos. Konfigurējiet ar dažādām tēmām saistīto jautājumu kopu un izpildiet ķēdes sērijveidā un vienlaikus, lai iegūtu to izpildes laiku. Šajā rokasgrāmatā ir detalizēti aprakstīts Async API aģenta izmantošanas process programmā LangChain.