Microsoft VisualGPT izlaiž jaunu tehnoloģiju VisualGPT ”, kas ir AI sasniegums un paver iespējas pievilcīgākai un interaktīvākai AI pieredzei, mazinot plaisu starp vizuālajiem materiāliem un valodu.
Kas ir VisualGPT?
VisualGPT ir paplašināta ChatGPT versija, kuras pamatā ir NLP (dabiskās valodas apstrādes) modeļi, bet programmā VisualGPT tiek izmantots VFMS, kas teksta vaicājumus var pārvērst attēla formā. Tas ir tāds, ka tā ir teksta un attēlu vaicājumu kombinācija/integrācija.
VisualGPT mērķis
Pēc ChatGPT izlaišanas tirgū, kas strādāja pie teksta formāta kā vienīgā, lai sasniegtu nākamo progresa līmeni, ir ideāls rīks, kas darbosies no teksta formāta uz grafisko formātu, ievērojot visus šos iemeslus un sacīkstēs par AI. attīstība Microsoft izlaiž VisualGPT, galvenais VisualGPT mērķis ir izveidot AI attēlus pēc lietotāja pieprasījuma vai analizēt attēlu
VisualGPT arhitektūra
VisualGPT satur lietotāja vaicājumu, uzvednes pārvaldnieku, vizuālo pamatu modeļus (VFM), sistēmas principu, dialoga vēsturi, spriešanas vēsturi un starpposma atbildi.
Ja mēs īpaši runājam par tā modeli, t.i., ' VFM (vizuālie pamatu modeļi) ”, tiek izmantoti gandrīz 22 VFM, piemēram, BLIP (Bootstrapping Language-Image Pre-Training) un Stable Diffusion.
Kā palaist vizuālo tērzēšanas GPT?
Lai palaistu Visual ChatGPT, veiciet tālāk norādītās darbības.
1. darbība: izveidojiet vidi
Pirmkārt, jums ir jāizveido Python versijas 3.8 vide:
importēt sys
sys.path.append ( '/usr/local/lib/python3.8/site-packages' )
2. darbība: klonējiet vizuālo tērzēšanas GPT failu
Tagad klonējiet vizuālo ChatGPT failu no GitHub, izmantojot šo komandu:
! git klons https: // github.com / deepanshu88 / visual-chatgpt.git 
3. darbība: iestatiet jaunu direktoriju
Pēc tam iestatiet jaunu direktoriju, izmantojot tālāk norādīto komandu:
% cd Visual-chatgpt4. darbība: instalējiet nepieciešamās pakotnes
Tagad instalējiet vajadzīgās pakotnes, izmantojot ' pip ” cmdlet:
! čokurošanās https: // bootstrap.pypa.io / get-pip.py -O get-pip.py! python3.8 get-pip.py
! python3.8 -m pip uzstādīt -r prasības.txt
5. darbība. Piekļūstiet OpenAI API
Pēc sākotnējo pakotņu instalēšanas piekļūstiet OpenAI API, iegūstot API atslēgu no “platform.openai.com” un veicot autentificētus API zvanus:
% env OPENAI_API_KEY =sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx6. darbība. Izvēlieties modeli
Visbeidzot, pēc piekļūšanas Openai izvēlieties modeli, ir vairāk nekā 20 modeļi, kas tiek izmantoti visualGPT, kurus varat izvēlēties atbilstoši savām prasībām:
! python3.8. / visual_chatgpt.py --slodze Text2Image_cuda: 0Iepriekš minētajā komandā ' Teksts2 Attēls ” atbilst izmantojamajam modelim. Lai iegūtu plašāku informāciju, skatiet šo Google Colab piezīmju grāmatiņa .
Secinājums
ChatGPT tika ieviests, lai iegūtu konkrētas atbildes par jebkuru vaicājumu, un tagad Microsoft ir izlaidusi VisualGPT, kas spēj apstrādāt gan teksta, gan attēlu datus. Tas ir tāds, ka lietotājs var vienkārši pievienot savas prasības teksta formā un iegūt tā grafisko izvadi.