Notícias

Apr 24, 2023

LlamaIndex adiciona dados privados a grandes modelos de linguagem

No outono passado, depois de brincar com o modelo de IA de geração de texto GPT-3 da OpenAI -

No outono passado, depois de brincar com o modelo de IA de geração de texto GPT-3 da OpenAI - o predecessor do GPT-4 - o ex-cientista de pesquisa do Uber, Jerry Liu, descobriu o que ele descreve como "limitações" em torno da capacidade do modelo de trabalhar com dados privados (por exemplo, arquivos pessoais). Para resolver isso, ele lançou um projeto de código aberto, LlamaIndex, projetado para desbloquear os recursos e casos de uso de modelos de linguagem grandes (LLMs) como GPT-3 e GPT-4.

"Os LLMs oferecem recursos incríveis para extração e raciocínio de conhecimento - eles podem responder a perguntas, resumir e extrair insights e até tomar decisões sequenciais com um ambiente externo", disse Liu ao TechCrunch em uma entrevista por e-mail. "Mas os LLMs têm limites."

À medida que a popularidade do projeto crescia (até 200.000 downloads mensais), Liu uniu forças com Simon Suo, um de seus antigos colegas da Uber, para transformar a LlamaIndex em uma empresa de pleno direito. Hoje, a LlamaIndex (a empresa) oferece uma estrutura para ajudar os desenvolvedores a aproveitar os recursos dos LLMs com base em seus dados pessoais ou organizacionais.

"O LlamaIndex [ajuda] os desenvolvedores a gerenciar seus dados para aplicativos LLM", disse Liu. "Nosso kit de ferramentas contém mais profundidade nesse aspecto e facilitamos a integração com outras ferramentas que o desenvolvedor está usando."

Créditos da imagem:LlamaIndex

A estrutura LlamaIndex permite que os desenvolvedores conectem dados de arquivos como PDFs, PowerPoints, aplicativos como Notion e Slack e bancos de dados como Postgres e MongoDB para LLMs. A estrutura inclui conectores para ingerir fontes de dados e formatos de dados, bem como formas de estruturar dados para que possam ser facilmente usados ​​com LLMs.

Além disso, o LlamaIndex apresenta uma interface de consulta e recuperação de dados que permite aos desenvolvedores inserir qualquer prompt de entrada do LLM para obter - como Liu descreve - a saída "aumentada pelo contexto e pelo conhecimento".

"Existem outras estruturas de aplicativos LLM por aí que oferecem blocos de construção básicos para aplicativos e agentes LLM", disse Liu. "O que é específico do LlamaIndex é que nos concentramos em conectar suas fontes de dados com LLMs e temos ferramentas abrangentes sobre ingestão de dados, gerenciamento e indexação de dados e recuperação de dados com relação a aplicativos LLM".

A perspectiva de aumentar os LLMs dessa maneira atraiu os investidores, que prometeram US$ 8,5 milhões para a LlamaIndex em uma rodada de financiamento inicial recentemente encerrada. Greylock liderou com a participação de investidores anjos, incluindo Jack Altman, Lenny Rachitsky e Charles Xie.

Então, em que o LlamaIndex gastará o dinheiro? Liu diz que será usado para construir uma "solução empresarial" sobre o projeto de código aberto LlamaIndex, previsto para ser lançado ainda este ano. Um recurso permitirá que os clientes usem conectores de dados de "grau de proteção" para analisar e transportar grandes volumes de dados, enquanto outro recurso relacionado permitirá que eles indexem dados "específicos do domínio".

"O LlamaIndex não está vinculado a uma peça específica de tecnologia, para que possamos continuar a ser usados ​​com LLMs à medida que a tecnologia evolui", disse Liu. “A indústria de IA está se movendo tão rapidamente que qualquer pilha inicial que esteja surgindo provavelmente mudará ao longo dos próximos meses”.