Šajā emuārā mēs apskatīsim tālāk sniegto saturu:
- Kā pielāgot teksta ģenerēšanu, ielādējot modeli ar 'cauruļvada' funkciju no transformatoriem?
- Kā izmantot uz transformatoriem balstītu modeli teksta ģenerēšanai programmā PyTorch?
- Kā izmantot uz transformatoriem balstītu modeli teksta ģenerēšanai programmā TensorFlow?
Kā pielāgot teksta ģenerēšanu, ielādējot modeli ar 'cauruļvada' funkciju no transformatoriem?
' cauruļvads ” funkcija tiek izmantota, lai automātiski lejupielādētu iepriekš apmācītu AI modeli atbilstoši lietotāja prasībām. Lai izmantotu šo konkrēto funkciju, lietotājiem ir jāinstalē ' transformatori ” iepakojumiem. Šī pakotne nodrošina piekļuvi vismodernākajiem transformatora modeļiem, kas var veikt sentimenta analīzi, kā arī vairākus citus Dabiskās valodas apstrāde (NLP) uzdevumus.
Lai pārbaudītu iepriekš aprakstītā scenārija praktisko demonstrāciju, pārejiet uz tālāk norādītajām darbībām!
1. darbība. Instalējiet “transformatoru” pakotnes
Sākumā izpildiet “! pip” komanda, lai instalētu transformatora pakotnes:
! pip uzstādīt transformatorus
Kā redzat, norādītā pakotne ir veiksmīgi instalēta:
2. darbība. Importējiet uz transformatoru balstītu modeli
Pēc tam importējiet vajadzīgo transformatora modeli. Lai to izdarītu, vispirms importējiet ' cauruļvads ' funkcija no ' transformatori ”. Pēc tam izmantojiet importēto funkciju un nododiet “ teksta ģenerēšana ' kā argumentu tam kopā ar nepieciešamo modeļa nosaukumu ' gpt2 ”. Pēc tam nosūtiet tos uz ' ģenerēt ” mainīgais:
no transformatori imports cauruļvads
ģenerēt = cauruļvads ( 'teksta ģenerēšana' , modelis = 'gpt2' )
3. darbība: ģenerējiet pielāgoto tekstu
Tagad nosūtiet vajadzīgo tekstu kā argumentu ' ģenerēt ”. Kā parādīts zemāk:
ģenerēt ( 'Izmantojot gpt2 modeli teksta ģenerēšanai transformatoros' )Saskaņā ar sniegto izvadi lejupielādētais iepriekš apmācīts “ gpt3 ” modelis ir veiksmīgi ģenerēts teksts:
Varat izmantot arī citus argumentus, piemēram:
pamudināt = 'Izmantojot gpt2 modeli teksta ģenerēšanai transformatoros'drukāt ( gēns ( pamudināt , atgriešanas_secību skaits = 5 , max_garums = divdesmit ) )
Šeit:
- ' pamudināt ” tiek izmantots kā arguments, kas satur ievadi.
- ' num_return_sequence ” arguments tiek izmantots, lai ģenerētu nodrošinātā teksta secību skaitu.
- ' max_garums ” arguments tiek izmantots, lai norādītu ģenerētā teksta garumu. Mūsu gadījumā tas aprobežojas ar ' 30 ” marķieri (vārdi vai pieturzīmes):
Piezīme: Pielāgotais teksts būs norādītās uzvednes turpinājums, kura pamatā ir modeļa apmācības dati.
Kā izmantot uz transformatoriem balstītu modeli teksta ģenerēšanai programmā PyTorch?
Lietotāji var arī pielāgot tekstu sadaļā “ PyTorch 'kas ir' Lāpa ” balstīta mašīnmācīšanās sistēma. To izmanto dažādām lietojumprogrammām, piemēram, NLP un Computer Vision. Lai izmantotu transformatora modeli teksta pielāgošanai programmā PyTorch, vispirms importējiet ' GPT2 Tokenizer ' un ' GPT2 modelis ” funkcijas no “ transformatori ”:
no transformatori imports GPT2 Tokenizer , GPT2 modelisPēc tam izmantojiet ' GPT2 Tokenizer ” tokenizators atbilstoši mūsu vēlamajam iepriekš apmācītajam modelim ar nosaukumu “ gpt2 ”:
tokenizators = GPT2 Tokenizer. from_pretraained ( 'gpt2' )Pēc tam svaru noteikšana no iepriekš apmācīta modeļa:
modelis = GPT2 modelis. from_pretraained ( 'gpt2' )Pēc tam paziņojiet ' gen_text ” mainīgais, kas satur tekstu, kuru vēlamies pielāgot:
gen_text = 'Izmantojot gpt2 modeli teksta ģenerēšanai transformatoros'Tagad ejiet garām ' gen_text ' un ' return_tensors='pt' ' kā argumentu, kas ģenerēs tekstu programmā PyTorch un saglabās ģenerēto vērtību mapē ' encoded_input ” mainīgais:
encoded_input = tokenizators ( gen_text , return_tensors = 'pt' )Visbeidzot, nododiet ' encoded_input ' mainīgais, kas satur pielāgoto tekstu ' modelis ' kā parametru un iegūstiet iegūto izvadi, izmantojot ' max_garums ' arguments, kas ir iestatīts uz ' divdesmit ', kas norāda, ka ģenerētais teksts tiks ierobežots ar nodrošinātajiem marķieriem, ' atgriešanas_secību skaits ', kas iestatīts uz ' 5 ”, kas parāda, ka ģenerētais teksts tiks paļauts uz 5 teksta sekvencēm:
izvade = modelis ( **kodēta_ievade )ģenerators ( gen_text , max_garums = divdesmit , atgriešanas_secību skaits = 5 )
Izvade
Kā izmantot uz transformatoriem balstītu modeli teksta ģenerēšanai programmā TensorFlow?
Lai ģenerētu tekstu programmā Transformers, “ TensorFlow ” tiek izmantotas arī mašīnmācīšanās ietvari. Lai to izdarītu, vispirms importējiet nepieciešamās funkcijas, piemēram, ' GPT2 Tokenizer ' un ' TFGPT2 modelis ' no ' transformatori ”. Pārējais kods ir tāds pats kā iepriekš, tikai mēs izmantojam ' TFGPT2 modelis funkcija '' vietā GPT2 modelis ” funkcija. Kā sekots:
no transformatori imports GPT2 Tokenizer , TFGPT2 modelistokenizators = GPT2 Tokenizer. from_pretraained ( 'gpt2' )
modelis = TFGPT2 modelis. from_pretraained ( 'gpt2' )
tekstu = 'Izmantojot gpt2 modeli teksta ģenerēšanai transformatoros'
encoded_input = tokenizators ( tekstu , return_tensors = 'tf' )
izvade = modelis ( encoded_input )
ģenerators ( gen_text , max_garums = divdesmit , atgriešanas_secību skaits = 5 )
Kā redzat, pielāgotais teksts ir veiksmīgi ģenerēts:
Tieši tā! Mēs esam izstrādājuši teksta ģenerēšanas pielāgošanu programmā Transformers.
Secinājums
Lai pielāgotu teksta ģenerēšanu programmā Transformers, ir dažādi veidi, piemēram, modeļa ielāde ar konveijera funkciju, izmantojot transformatora modeli sadaļā “ PyTorch ' un ' TensorFlow ”, kuru pamatā ir mašīnmācīšanās ietvari. Šajā rokasgrāmatā esam snieguši īsu informāciju, kā arī praktisku demonstrāciju par teksta ģenerēšanas pielāgošanu programmā Transformers.