Šajā laikmetā Transformatori ir visjaudīgākie modeļi, kas ir nodrošinājuši vislabākos rezultātus vairākās NLP (dabiskās valodas apstrādes) darbībās. Sākotnēji tas tika izmantots valodu modelēšanas uzdevumiem, tostarp teksta ģenerēšanai, kā arī klasifikācijai, mašīntulkošanai un daudzām citām darbībām. Bet tagad to izmanto arī objektu atpazīšanai, attēlu klasifikācijai un vairākiem citiem datora redzes uzdevumiem.
Šajā apmācībā mēs sniegsim procedūru teksta klasifikācijas veikšanai, izmantojot transformatorus.
Kā veikt teksta klasifikāciju, izmantojot transformatorus?
Lai veiktu teksta klasifikāciju, izmantojot transformatorus, vispirms instalējiet ' transformatori ” bibliotēku, izpildot norādīto komandu:
! pip uzstādīt transformatori
Kā redzat, norādītā bibliotēka ir veiksmīgi instalēta:
Pēc tam importējiet ' cauruļvads ' no ' transformatori ” bibliotēka:
no transformatoru importa cauruļvada
Šeit “ cauruļvads ” ietvers NLP uzdevumu, kas mums jāveic, un šai darbībai vēlamo transformatora modeli kopā ar marķieri.
Piezīme: Tokenizators tiek izmantots, lai apstrādātu tekstu, kas nodrošina modeļa ievadi, sadalot tekstu marķieros.
Pēc tam izmantojiet ' cauruļvads () ' funkciju un nododiet tai ' nulles šāviena klasifikācija ” kā argumentu. Pēc tam nododiet citu parametru, kas ir mūsu modelis. Mēs izmantojam Facebook ' BART ” transformatora modelis. Šeit mēs neizmantojam marķieri, jo to var automātiski secināt pēc norādītā modeļa:
text_classifier = konveijera ( 'nulles šāviena klasifikācija' , modelis = 'facebook/bart-large-mnli' )
Tagad paziņojiet ' sek ” mainīgais, kas satur mūsu ievadīto tekstu, kas ir jāklasificē. Pēc tam mēs nodrošinām kategorijas, kurās vēlamies klasificēt tekstu un saglabāt mapē “ lab ', kas ir pazīstams kā etiķetes:
laboratorija = [ 'Atjaunināt' , 'kļūda' , 'svarīgs' , 'pārbaude' ]
Visbeidzot, palaidiet cauruļvadu kopā ar ievadi:
Pēc cauruļvada izpildes, kā redzat, modelis paredzēja, ka mūsu sniegtā secība tiks klasificēta:
Papildus informācija: Ja vēlaties paātrināt modeļa veiktspēju, jums ir jāizmanto GPU. Ja jā, tad šim nolūkam varat norādīt konveijeram ierīces argumentu un iestatīt to uz “ 0 ”, lai izmantotu GPU.
Ja vēlaties klasificēt tekstu vairāk nekā vienā secības/ievades teksta priekšrakstā, varat tos pievienot sarakstam un nosūtīt to kā ievadi konveijeriem. Šim nolūkam skatiet koda fragmentu:
sek = [ 'Korektūra un rediģēšana ir nepieciešami komponenti, lai nodrošinātu satura skaidrību, saskaņotību un bez kļūdām' ,'Šajā modernajā laikmetā SEO optimizācija ir būtiska, lai raksti iegūtu labu vietu un sasniegtu plašāku auditoriju.' ]
teksta_klasifikators ( sek , lab )
Izvade
Tieši tā! Mēs esam apkopojuši vienkāršāko veidu, kā veikt teksta klasifikāciju, izmantojot Transformatorus.
Secinājums
Transformatorus izmanto, lai veiktu valodas modelēšanas uzdevumus, piemēram, teksta ģenerēšanu, teksta klasifikāciju un mašīntulkošanu, kā arī datorredzes uzdevumus, tostarp objektu atpazīšanu un attēlu klasifikāciju. Šajā apmācībā mēs esam ilustrējuši teksta klasifikācijas veikšanas procesu, izmantojot transformatorus.