Peningkatan Dukungan Chatbot AI di Perangkat NVIDIA untuk Google Gemma dan ChatGLM3

Pembaruan ketiga untuk aplikasi ChatRTX NVIDIA telah tiba. Dalam pembaruan ini NVIDIA menambahkan kemampuan pengenalan gambar baru, fungsionalitas input suara, dan pilihan LLM sumber terbuka yang diperluas.

NVIDIA ChatRTX, yang sebelumnya disebut Chat with RTX, adalah chatbot AI yang bisa dipersonalisasi, dapat berjalan secara lokal di PC Windows. Chatbot AI ini bertindak sebagai asisten pribadi, menjawab pertanyaan tentang dokumen, catatan, dan file lain di komputer pengguna tanpa interaksi dengan cloud apa pun.

Chatbot AI ini juga dapat meringkas video YouTube, yang mungkin berguna saat pengguna ingin mendapatkan resep atau mengikuti tutorial tanpa mendengarkan seseorang mengoceh selama 15 menit.

Salah satu hal menarik tentang ChatRTX adalah kemampuannya menjalankan berbagai LLM. ChatRTX diluncurkan dengan dukungan untuk Mistral dan Llama 2, sekarang mendukung Google Gemma, bagian dari Gemini dan ChatGLM3, LLM Inggris dan China berdasarkan kerangka kerja GLM. Masing-masing LLM ini cocok untuk tugas-tugas tertentu, karena itu diperlukan variasi.

Rilis ChatRTX baru juga menawarkan integrasi CLIP Whisper dan Open AI. Sementara Whisper menambahkan pengenalan suara berbasis AI untuk input suara, CLIP meningkatkan kemampuan pengenalan gambar ChatRTX. Seorang fotografer dapat menggunakan ChatRTX untuk menemukan dan mengatur banyak gambar yang tidak berlabel.

Untuk lebih jelasnya, ChatRTX masih dianggap sebagai demo teknologi. Ini adalah contoh dari apa yang dapat dibuat oleh pengembang menggunakan proyek referensi sumber terbuka TensorRT-LLM RAG, dan ini adalah sesuatu yang dapat membantu rata-rata pengguna komputer menjadi lebih akrab dengan LLM.

Manfaat ChatRTX adalah tidak memerlukan keahlian apa pun dan memungkinkan pengguna melatih chatbot lokal yang dipersonalisasi tanpa terlalu banyak kerja keras. Kamu dapat menginstal ChatRTXtoday secara gratis dari situs web NVIDIA.

Namun, ChatRTX memerlukan GPU seri RTX 30 atau 40 dengan VRAM minimal 8GB. Di samping itu, dibutuhkan kesabaran saat menunggu unduhan ChatRTX. Maklum ChatRTX, adalah aplikasi yang relatif besar yakni 30GB.