OpenAI memberikan telinga, mata, dan suara pada chatbot otomatisnya

Ini adalah salah satu pembaruan terbesar yang diterima ChatGPT sejak dirilis pada November 2022. OpenAI menawarkan chatbot populernya dua cara baru untuk berinteraksi dengan pengguna. Atau seperti yang ditulis oleh penyedia: “ChatGPT sekarang dapat melihat, mendengar, dan berbicara.”

Kemampuan bahasa dan gambar baru akan memungkinkan pengguna berkomunikasi lebih mudah dengan ChatGPT di masa mendatang. Semacam percakapan “verbal” seharusnya dapat dilakukan dengan chatbot yang didukung AI.

Anda juga harus bisa “menunjukkan” ChatGPT apa yang sedang Anda bicarakan. Misalnya saja dengan mengunggah foto suatu pemandangan dan membicarakan keindahannya.

lagi Disarankan oleh OpenAI Opsi penggunaan termasuk mengambil dan mengunggah foto lemari es atau dapur Anda—diikuti dengan diskusi tentang kemungkinan makan malam dan resep dengan petunjuk langkah demi langkah.

Anda juga dapat memotret pekerjaan rumah anak dan mendapatkan tip tentang cara menyelesaikannya. Atau Anda dapat mengambil foto peralatan berkebun yang rusak dan mendapatkan saran mengenai opsi perbaikan.

Selain itu, ChatGPT juga akan dapat menghasilkan gambar sendiri di masa depan berkat integrasi teks-ke-gambar AI Dall-E 3. Pengguna dapat menggunakan kemampuan bahasanya, misalnya untuk saling menceritakan kisah pengantar tidur atau untuk menyelesaikan argumen.

Pengguna dapat memilih dari berbagai suara ChatGPT, yang dibuat dengan bantuan aktor profesional. Untuk mengubah kata-kata yang diucapkan pengguna menjadi teks yang dapat dipahami ChatGPT, antara lain digunakan sistem pengenalan ucapan Whisper OpenAI.

Agar dapat menghasilkan jawaban ChatGPT dalam bentuk linguistik, OpenAI telah mengembangkan model text-to-speech baru. Alat ini sudah tersedia untuk digunakan oleh banyak perusahaan lain. Termasuk Spotify yang ia gunakan untuk membuat alat terjemahan podcast. Suara asli pembawa acara dikeluarkan dalam berbagai bahasa terjemahan seperti Spanyol, Prancis, dan Jerman.

Saat menggunakan ChatGPT, OpenAI menunjukkan bahwa fungsi baru tersebut hanya dapat digunakan dalam bahasa Inggris. Perusahaan ingin menghindari potensi penyalahgunaan kemampuan linguistik AI chatbot oleh penipu dengan menciptakan suara yang dapat dipilih.

OpenAI juga telah menangani potensi masalah yang disebabkan oleh pengenalan gambar dalam beberapa bulan terakhir. Meskipun ChatGPT tidak menjawab pertanyaan seperti “Bagaimana cara membuat bom?”, perlindungan ini dapat dilewati dengan gambar bom dan menanyakan “Bagaimana cara membuat benda yang ditampilkan dalam gambar”, menurut MIT teknologi. tinjauan untuk menjelaskan.

OpenAI juga harus menghentikan potensi kerentanan seperti ini sebelum meluncurkan fungsi baru. Namun, penyedia ChatGPT tampaknya yakin dapat menyelesaikan masalah serupa.

Fitur pengenalan suara dan gambar akan tersedia untuk semua pengguna ChatGPT Pro dan Perusahaan dalam dua minggu ke depan. Namun, hanya gambar yang akan dikenali di semua platform. Fitur audio terbatas pada aplikasi (iOS dan Android).

Untuk melakukan ini, pengguna harus pergi ke Pengaturandi bawah Pekerjaan Baruitu Percakapan suara meluncurkan. Anda kemudian dapat memilih salah satu dari lima varian audio yang tersedia saat ini dengan mengetuk ikon headphone di kanan atas.

Untuk mengunggah gambar, klik ikon yang sesuai. Di aplikasi, Anda harus mengetuk tombol “tanda plus” terlebih dahulu. Kemudian juga dimungkinkan untuk mendiskusikan beberapa gambar atau menggunakan perangkat lunak gambar terintegrasi untuk menunjukkan konten tertentu.