A NVIDIA revelou seu novo chatbot com recursos locais de IA para usuários que possuem suas GPUs GeForce RTX 30 e 40.
A implementação já era esperada devido ao alto investimento – e retorno financeiro, diga-se de passagem – que a empresa tem realizado no segmento de inteligência artificial.
A NVIDIA tem se aprofundado cada vez mais em tecnologias baseadas em IA. A empresa se tornou uma das referências no setor no último ano, e é claro que em algum momento isso chegaria para suas linhas de placas de vídeo para o consumidor final.
A empresa lançou o “Chat with RTX”, um chatbot para PCs Windows que é desenvolvido com TensorRT-LLM e já está disponível gratuitamente nos modelos mais recentes de GPUs RTX.
Essa é uma implementação com funcionamento simples, mas que abre um leque de opções bem interessante para os usuários, já que a integração possibilita utilizar recursos de chatbot IA localmente, sem a necessidade de estar conectado à internet.
O Chat with RTX foi desenhado como um sistema localizado e personalizado para estar à disposição do usuário o tempo todo no PC sem a necessidade de estar online. A experiência do usuário pode ser personalizada para utilizar um conjunto de dados disponível localmente em seu PC, funcionando em quase todas as GPUs RTX 40 e RTX 30.
Fazendo uso do software TensorRT-LLM & Retrieval Augmented Generated (RAG) da NVIDIA, o Chat with RTX foi anunciado no ano passado para PCs Windows e é compatível com todas as GPUs GeForce RTX 30 e 40 com pelo menos 8GB de VRAM.
Se você possui uma placa da NVIDIA que cumpre os requisitos, já pode baixar o Chat with RTX gratuitamente no site oficial da empresa. Os usuários poderão conectá-lo a um conjunto de dados local disponível no PC (.txt, .pdf, .doc, .docx, .xml), tudo isso interligado por modelos de linguagem, como Mistral e Lhama 2. Lembrando que ele é compatível com PCs Windows 11 e Windows 10 e requer os drivers de GPU NVIDIA mais recentes para desempenho ideal.
O usuário também pode adicionar URLs específicas, como vídeos do YouTube, por exemplo, ou listas de reprodução inteiras, para aprimorar ainda mais os resultados da pesquisa do conjunto de dados. Após a conexão, os usuários podem usar o Chat With RTX da mesma forma que usariam o ChatGPT, executando consultas diferentes, mas os resultados gerados serão baseados inteiramente no conjunto de dados específico, fornecendo melhores respostas em comparação aos métodos online, segundo a NVIDIA.
O TensorRT-LLM possibilita que seus dados e projetos fiquem disponíveis localmente, em vez de salvá-los na nuvem. A ideia aqui é economizar tempo e fornecer resultados mais precisos.
FONTE: NVIDIA
Participe do grupo de ofertas do Adrenaline
Confira as principais ofertas de hardware, componentes e outros eletrônicos que encontramos pela internet. Placa de vídeo, placa-mãe, memória RAM e tudo que você precisa para montar o seu PC. Ao participar do nosso grupo, você recebe promoções diariamente e tem acesso antecipado a cupons de desconto.
Entre no grupo e aproveite as promoções
