Na Microsoft, especialistas estão trabalhando para melhorar os modelos de linguagem (LLM), que são ferramentas computacionais avançadas usadas para entender e gerar textos mais próximos àqueles criados por humanos. Durante o evento Microsoft Research Forum, Dipendra Misra, um pesquisador sênior da big tech, compartilhou descobertas sobre uma técnica inovadora chamada LASER, que promete tornar esses modelos ainda mais precisos.
LASER é a sigla para Layer-Selective Rank Reduction (simplesmente, redução de classificação seletiva de camada, na tradução). Essa intervenção pode ser explicada mais ou menos da seguinte forma: imagine esses modelos de linguagem como estudantes muito inteligentes que aprendem lendo enormes quantidades de textos da internet. Eles absorvem informações para realizar tarefas como escrever ou responder perguntas.
O que o LASER faz é simplificar as “dicas” que o LLM usa para tomar decisões. Aí acontece a “mágica”: o que poderia parecer que iria piorar o desempenho, na prática, ajuda o computador a se tornar mais eficiente em algumas tarefas.
Leia também:
Simplificando para o modelo ser mais eficiente
Misra explicou que, ao aplicar a técnica LASER, foi possível reduzir o número de pistas sem perder a eficiência. Surpreendentemente, os modelos de linguagem analisados pelos pesquisadores da Microsoft não só mantiveram sua capacidade de desempenho como, em alguns casos, melhoraram significativamente. Você pode ter acesso ao repositório da intervenção aqui.
A equipe de Misra observou melhorias de até 30% em tarefas específicas em três diferentes modelos de código aberto: RoBERTa, Llama 2 e GPT-J da Eleuther. Acompanhe mais detalhes na explicação do pesquisador:
Dentre os modelos de linguagem que receberam a intervenção com LASER, por exemplo, a precisão do GPT-J na previsão de gênero com base em biografias aumentou de 70,9% para 97,5%. Para termos uma ideia do quanto isso é positivo, embora os LLMs sejam já muito capazes, eles podem errar ou até “inventar” informações. Aperfeiçoar sua precisão é crucial para torná-los mais confiáveis e úteis, minimizando possíveis danos que erros ou “alucinações” podem causar.
Via The Verge
