ChatGPT ou Bard: qual é melhor?

Há poucas semanas, o Google anunciou o mais avançado modelo de inteligência artificial (IA) de que se tem notícia, o Gemini. Logo, a tecnologia foi embarcada no Bard, a IA generativa do Google.

A esperança do Google é que, dessa forma, seu chatbot derrote o ChatGPT, atualmente o mais potente e maior rival da gigante das buscas.

Leia mais:

O ChatGPT e o Bard enriquecido com o Gemini são similares, com o Gemini Pro sendo mais comparável à última versão do chatbot da OpenAI, o GPT-4, que, atualmente, está disponível para assinantes do ChatGPT Plus.

Com a novidade do Google, o The Verge fez um teste para tentar determinar qual das duas IAs generativas é a mais poderosa: ChatGPT ou Bard? Vale lembrar, contudo, que uma pesquisa recente indicou que a IA do Google venceu a da OpenAI em avaliação de 57 disciplinas.

Básico

• Tanto o ChatGPT Plus quanto o Gemini Pro são chatbots bem avançados e baseados em modelos de linguagem grande (LLM, da sigla em inglês);
• Eles são as últimas e melhores opções disponíveis por suas companhias e prometem ser mais rápidos e melhores ao responder comandos do que seus predecessores;
• Ambos são treinados com base em informações recentes, em vez de apenas saberem o que estava na Internet até 2021, como anteriormente;
• São bem simples de usar na condição de produtos independentes, em contraste com o novo Grok, da X, implantado como um extra na rede social de Elon Musk;
• Contudo, há diferenças significativas: enquanto o Bard é gratuito, o ChatGPT Plus custa US$ 20 (R$ 97,18) mensais;
• Já o Gemini Pro não possui capacidades multimodais (capacidade de receber comando em texto e responder com foto ou vídeo) como o ChatGPT Plus possui (mas é possível que o futuro Gemini Ultra terá tal capacidade);
• O Bard, por sua vez, oferece maneira de verificar outros rascunhos de respostas, algo inexistente no ChatGPT.

Dificuldades

Contudo, o artigo cita algumas dificuldades no teste de chatbots, como a significativa diferença de respostas ao rodar o mesmo comando várias vezes.

Além disso, percebe-se que o Bard é mais lento que o ChatGPT: são seis segundos contra três do chatbot da OpenAI para “Pensar” no que vai responder ao usuário.

O portal também encontrou mais restrições contra respostas potencialmente danosas, racistas e violações de direitos autorais no Bard do que no ChatGPT. Abaixo, confira os comandos dados pelo jornalista e a resposta de cada chatbot:

Receita de bolo

Pedir uma receita de bolo está entre as perguntas mais comuns da internet, algo que também se torna normal nas IAs. Para comparar os resultados obtidos junto ao Bard e ao ChatGPT, foi utilizado um livro de receitas. E, de um modo geral, estavam parecidos.

Mas, como as IAs não são perfeitas, algumas questões foram levantadas. Por exemplo, não deu para entender se o ChatGPT exigia água quente. Já o Bard parecia ter copiado uma receita de um blog local, mas solicitando o dobro de ovos.

Na hora de fazer as receitas, ficou comprovado que ambas funcionam, mas não ficaram tão boas. A receita do Gemini ficou meio “viscosa”, mas foi o mais úmido. Já o do ChatGPT ficou denso, suave, achocolatado e quase perfeito.

Saber mais sobre chás

Os chatbots foram incumbidos de dar informações diretas sobre chás, bem como algumas recomendações de livros.

Os dois apps deram respostas com os princípios básicos, incluindo as origens e tipos do chá, seus benefícios para saúde e lista de tópicos para prepará-lo.

Enquanto o Bard deu links para artigos que explicam melhor sobre o chá, o ChatGPT respondeu de forma mais extensa. Foram nove categorias focadas no significado cultural da bebida em vários países, produção global, técnicas de preparo e origem do chá.

Ao repetir o comando, o chatbot da OpenAI o condensou em seis pontos com uma ou duas frases em cada uma das categorias. Dessa vez, as sugestões de livros não foram alucinações, mas, sim, livros reais.

Significado do “Soneto 116”, de William Shakespeare

O jornalista resolveu pedir aos chatbots para explicarem o significado do “Soneto 116”, composto por William Shakespeare.

O Bard deu rápido resumo dos temas da constância e da atemporalidade de amor do soneto e escreveu algumas linhas do escrito, enquanto o ChatGPT foi mais profundo, analisando quadra por quadra. Ao reexecutar o comando no ChatGPT, contudo, ele seguiu mais a linha do rival.

“Desenhe foto de magnífico cavalo brincando em campo de margaridas ao nascer do Sol”

Nessa, só o ChatGPT consegue transformar texto em imagem (por enquanto). Como vemos abaixo, ele conseguiu cumprir com o pedido da repórter do The Verge.

Como dito no começo da matéria, o Gemini Pro terá essa capacidade, mas ele ainda não está disponível no Bard. Sendo assim, foi pedido que ele desenhasse o Sol, no que ele respondeu:

Letra da música “Ivy”, de Taylor Swift

O Bard se recusou a responder ao comando, afirmando não conhecer a pessoa. Supostamente, ele pensou que o nome da canção era o nome de uma pessoa real, pois ele respondeu normalmente quando lhe foi pedida a biografia de Taylor Swift.

Dias depois, contudo, o chatbot do Google mudou sua resposta, mas trouxe o refrão errado da música:

I’m your ivy, twining ‘round your evergreen
You’re my anchor, holding me safe from the keen
Bitter wind that chills my bones to the marrow
But you, you’re my shelter from the storm

Refrão errado de “Ivy”, de Taylor Swift, trazido pelo Bard

Oh, goddamn
My pain fits in the palm of your freezing hand
Taking mine, but it’s been promised to another
Oh, I can’t
Stop you putting roots in my dreamland
My house of stone, your ivy grows
And now I’m covered in you

Refrão verdadeiro de “Ivy”, de Taylor Swift

O ChatGPT foi mais conciso, trazendo não só a letra, como, ainda, uma dissertação sobre a música: “As letras mostram o estilo de escrita poético e evocativo de Swift, misturando imagens e emoções de uma forma que se tornou marca registrada de suas composições.”

A resposta do chatbot da OpenAI surpreende, visto que é comum serviços que trazem letras de músicas dessa forma serem processados por direitos autorais. Um exemplo foi a Universal Music, que já processou a rival de Google e OpenAI, a Anthropic, criadora do Claude, por distribuir letras protegida por direitos autorais sem licença.

Geralmente, o ChatGPT barra a publicação da letra e afirma que não pode mostrá-la por completo, ou, às vezes, refere-se a limitações de proteção de direitos autorais.

“Qual é melhor: o iPhone 15 ou o Pixel 8?”

Em um primeiro momento o ChatGPT foi mais justo em sua comparação, detalhando as diferenças entre ambos e dizendo que a Apple “normalmente usa hardware de alta qualidade, com foco no desempenho e durabilidade” e que sua câmera provavelmente terá excelente qualidade com melhorias de desempenho em pouca luz.

Sobre os Pixel, ele disse que “incluem, geralmente, as mais recentes inovações de hardware e possuem recursos, como Night Sight”. Porém, nada disse sobre detalhes importantes, como preço, resolução, etc., ou seja, não trouxe informações úteis, mais um apanhado geral sobre eles.

Já o Bard – recorde-se que o chatbot e o Pixel pertencem à mesma companhia – também não respondeu à pergunta de forma eficaz. Ele alegou que o iPhone 15 ainda não foi lançado (provavelmente por estar em fase de testes e ter limitações em seus dados-teste).

Sabe-se que os dados do GPT-4 vai até 2021, enquanto sua última versão, o GPT-4 Turbo, vai até abril de 2023. Não se sabe a do Gemini Pro.

Contudo, ambos podem pesquisar na internet e buscar informações em tempo real, que estão saindo neste momento, inclusive. Ou seja, não está claro por que o Bard não trouxe a informação precisa sobre o iPhone 15, assim como o ChatGPT, que também aparentou não ter ido à web buscar dados sobre o aparelho.

Últimas informações no caso Epic vs. Google

Uma pergunta mais complexa, porém recente. Há alguns dias, a Epic Games venceu o Google no caso antitruste. Será que os chatbots (especialmente o Bard) saberiam explicar o que houve no final? De fato, ambos responderam certo.

O ChatGPT optou por descrever o caso em dois parágrafos, sumarizando a vitória da Epic e ligou sua resposta a artigos de fontes, como Reuters, WBUR e Digital Trends. Ele informou que a decisão pode ter implicações para o Google, mas que ainda cabe recurso.

Já o Bard, do considerado culpado Google, detalhou a decisão em suas principais questões, sobre por quais razões a gigante das buscas foi considerada culpada.

Também afirmou que sua criadora manteve monopólio ilegal pela Play Store, sufocou sua concorrência injustamente e usou de táticas anticompetitivas. Ainda, indicou os próximos passos que podem ser tomados pelo Google, além das implicações mais amplas da vitória da Epic no que tange as lojas de aplicativos.

Contudo, diferente do ChatGPT, as referências trazidas pelo Bard não eram tão sólidas. Ele chegou a trazer um link do The Verge explicando o julgamento, contudo, o rotulou como sendo um comunicado à imprensa da própria Epic, enquanto um texto do TechCrunch foi creditado à Reuters.

O que fazer se for asmático

Normalmente, esse tipo de pergunta é feita ao Google, mas pe bem capaz de que se tornará comum às IAs generativas cada vez mais.

Ambos os chatbots responderam que era importante seguir o plano de ação para asma desenvolvida por paciente e médico, tomar os devidos remédios, identificar gatilhos e alergias, monitorar sintomas e considerar mudanças no estilo de vida, tais como perder peso. O ChatGPT acrescentou mais uma coisa: tomar vacinas contra a gripe.

Porém, só o Bard trouxe uma isenção de responsabilidade, indicanto que não é um médico e que não pode ofercer conselhos médicos. Contudo, explicou que suas respostas foram providas pela Mayo Clinic e pela Associação Americana de Pulmão, ambas com links originais. O ChatGPT não citou fontes.

Biografia da repórter

A autora do artigo, Emilia David, resolveu testar os conhecimentos de ambos os chatbots acerca de sua vida e carreira.

O ChatGPT visitou o site da profissional, trazendo informações da área “Sobre Mim”, de um artigo escrito sobre ela e alguns dados de publicações realizadas pela profissional.

O Bard não foi tão eficaz assim. Ele simplesmente informou: “Não tenho informações suficientes sobre esta pessoa para te ajudar com essa solicitação.”

Extra: e a minha biografia?

Inspirado por David, resolvi pedir ao ChatGPT e ao Bard que “escreva uma minibiografia sobre o jornalista Rodrigo Mozelli“. Enquanto o chatbot da OpenAI disse que não tinha informações suficientes sobre mim, o Bard me surpreendeu e trouxe um pequeno texto sobre minha carreira, até elogiou meus textos (!), mas se equivocou em alguns dados.

Por exemplo, ele se “esqueceu” de um veículo pelo qual passei e colocou datas erradas em outro. Além disso, disse que recebi menção honrosa no Prêmio Vladimir Herzog de Anistia e Direitos Humanos de 2020 (algo que, até onde sei, não aconteceu!).

Veredito

O Bard tem muitas condições de competir igualmente com o ChatGPT Plus, mesmo ainda não pdoendo oferecer conversão de comandos de texto em imagens.

Contudo, ele recusou responder mais comandos do que o rival, ora citando impossibilidade de criar imagens por enquanto, ora citando limitações em seu código. E, mesmo sendo ligeiramente mais lento, possui a vantagem de ser gratuito (até agora).