Evolução da tecnologia de indexação de dados em Blockchain: de Nó a serviço de cadeia completa capacitado por IA

1. Introdução

Nos últimos anos, as aplicações descentralizadas (dApp) têm se desenvolvido vigorosamente no campo da Blockchain, desde as aplicações financeiras, de jogos e sociais dos primórdios, até a atual diversidade do ecossistema multi-chain. Neste processo, as fontes de dados e os métodos de acesso das dApps também estão em constante evolução.

Em 2024, a inteligência artificial (AI) e o Web3 tornam-se tópicos quentes. Os sistemas de IA precisam de uma enorme quantidade de dados para continuar a aprender e evoluir, assim como as plantas precisam de luz solar e água para crescer saudáveis. Sem o suporte de dados, mesmo os algoritmos de IA mais avançados têm dificuldade em desempenhar a inteligência e a eficácia que deveriam.

Este artigo irá analisar em profundidade a evolução do índice de dados da blockchain no processo de desenvolvimento da indústria, sob a perspectiva da acessibilidade dos dados da blockchain. Também iremos comparar o protocolo de indexação de dados tradicional The Graph com os emergentes protocolos de serviços de dados da blockchain Chainbase e Space and Time, explorando as semelhanças e diferenças desses novos protocolos que combinam tecnologia de IA em serviços de dados e arquitetura de produtos.

2. A complexidade e simplicidade da indexação de dados: do nó da Blockchain ao banco de dados de toda a cadeia

2.1 Fonte de dados: Nó de Blockchain

A base da Blockchain é uma rede descentralizada composta por numerosos Nós, onde cada Nó armazena uma cópia completa dos dados da Blockchain. No entanto, para usuários comuns, construir e manter um Nó não é uma tarefa fácil, pois requer habilidades especializadas e enfrenta altos custos de hardware e largura de banda. Ao mesmo tempo, a capacidade de consulta de Nós comuns é limitada, tornando difícil atender às necessidades dos desenvolvedores.

Para resolver este problema, surgiram os provedores de nós de chamada de procedimento remoto (RPC). Esses prestadores de serviços são responsáveis pela operação e gestão dos nós, oferecendo serviços de acesso a dados aos usuários através de pontos finais RPC. Embora os pontos finais RPC públicos sejam gratuitos, apresentam limitações de taxa, o que pode afetar a experiência do usuário em dApps. Os pontos finais RPC privados, embora tenham melhor desempenho, ainda mostram ineficiência em consultas complexas e são difíceis de escalar entre redes. Apesar disso, as interfaces API padronizadas dos provedores de nós reduziram a barreira de acesso dos usuários aos dados on-chain, estabelecendo uma base para a posterior análise de dados e aplicações.

2.2 Análise de Dados: Dos Dados Prototipais aos Dados Utilizáveis

Os dados brutos fornecidos pelos nós da Blockchain geralmente são processados por criptografia e codificação, tornando difícil para usuários comuns e desenvolvedores usarem esses dados diretamente. O processo de análise de dados converte dados protótipos complexos em um formato mais compreensível e manipulável, sendo uma etapa crucial em todo o processo de indexação de dados.

2.3 A evolução dos indexadores de dados

Com o aumento exponencial da quantidade de dados na Blockchain, a demanda por indexadores tem se tornado cada vez mais evidente. Os indexadores organizam os dados na cadeia e os armazenam em bancos de dados, facilitando a consulta. Eles indexam os dados da Blockchain e oferecem uma linguagem de consulta semelhante ao SQL (, como interfaces GraphQL ), tornando os dados disponíveis a qualquer momento. Os indexadores fornecem aos desenvolvedores uma linguagem de consulta padronizada, simplificando significativamente o processo de recuperação de dados.

Diferentes tipos de indexadores têm características distintas:

1. Indexador de nó completo: extrai dados diretamente do nó completo, garantindo a integridade dos dados, mas requer muitos recursos de armazenamento e processamento.
2. Indexador leve: depende de nós completos para obter dados específicos sob demanda, reduzindo a necessidade de armazenamento, mas podendo aumentar o tempo de consulta.
3. Indexador dedicado: otimizado para tipos específicos de dados ou Blockchain, como dados de NFT ou transações DeFi.
4. Agregador de índices: extrai dados de várias Blockchains e fontes, incluindo informações off-chain, fornecendo uma interface de consulta unificada, adequada para dApps multi-chain.

Atualmente, a necessidade de armazenamento de nós de arquivo Ethereum varia de 3TB a 13,5TB em diferentes clientes, e com o contínuo crescimento da Blockchain, essa quantidade de dados continua a aumentar. Diante de uma quantidade tão grande de dados, os protocolos de indexação mainstream não só suportam indexação multi-chain, mas também personalizaram estruturas de análise de dados para as necessidades de dados de diferentes aplicações.

Em comparação com os pontos de extremidade RPC tradicionais, os indexadores têm vantagens significativas em termos de eficiência de indexação e consulta de dados. Eles conseguem indexar grandes volumes de dados de forma eficiente, suportando consultas complexas e filtragem de dados, e realizando análises após a extração. Alguns indexadores também suportam a agregação de várias fontes de dados de blockchain, evitando o problema de dApps multi-chain que precisam implantar várias APIs. Através da operação distribuída, os indexadores oferecem maior segurança e desempenho, enquanto reduzem o risco de interrupções que podem ser causadas por provedores de RPC centralizados.

2.4 Base de dados de toda a cadeia: alinhamento prioritário ao fluxo

Com a crescente complexidade das demandas de aplicação, o formato de índice de API padronizado torna-se gradualmente insuficiente para atender às diversas necessidades de consulta, como acesso cross-chain ou mapeamento de dados off-chain. Na arquitetura moderna de pipelines de dados, a abordagem "prioridade ao fluxo" torna-se uma solução para as limitações do processamento em lote tradicional, permitindo o processamento e a análise de dados em tempo real.

Os provedores de serviços de dados de Blockchain também estão a avançar na direção da construção de fluxos de dados de Blockchain. Os prestadores de serviços de indexação tradicionais estão a lançar produtos que obtêm dados de Blockchain em tempo real de forma de fluxo de dados, como os Substreams do The Graph e o Mirror do Goldsky. Ao mesmo tempo, surgiram serviços de lagos de dados em tempo real, como o Chainbase e o SubSquid, que geram fluxos de dados com base em Blockchain.

Esses serviços visam resolver a necessidade de análise em tempo real das transações em blockchain e fornecer uma capacidade de consulta mais abrangente. Ao redefinir os desafios dos dados on-chain sob a perspectiva de modernos pipelines de dados, podemos imaginar um mundo possível que possa personalizar conjuntos de dados de alto desempenho para qualquer caso de uso empresarial.

3. AI + Banco de Dados? Comparação aprofundada entre The Graph, Chainbase, Space and Time

3.1 The Graph

A rede The Graph fornece serviços de indexação e consulta de dados multi-chain através de uma rede de nós descentralizados, facilitando aos desenvolvedores a indexação de dados de blockchain e a construção de aplicações descentralizadas. O seu principal modelo de produto inclui um mercado de execução de consultas de dados e um mercado de cache de indexação de dados, servindo as necessidades de consulta de produtos dos usuários.

Subgrafo (Subgraphs) é a estrutura de dados básica da rede The Graph, definindo como extrair e transformar dados da Blockchain em um formato consultável. Qualquer pessoa pode criar subgrafos, e várias aplicações podem reutilizar esses subgrafos, aumentando a reutilização e a eficiência dos dados.

A rede The Graph é composta por quatro papéis-chave: indexadores, curadores, delegadores e desenvolvedores. Os indexadores fornecem serviços de indexação e processamento de consultas; os delegadores apostam tokens para apoiar a operação dos nós de indexação; os curadores são responsáveis por sinalizar quais subgrafos devem ser indexados pela rede; os desenvolvedores, como parte demandante, criam e submetem subgrafos.

Os produtos da The Graph também estão a desenvolver-se rapidamente na onda da IA. As ferramentas AutoAgora, Allocation Optimizer e AgentC, desenvolvidas pela Semiotic Labs, melhoraram o desempenho do ecossistema em várias áreas, como mecanismos de preços dinâmicos, otimização de recursos e consultas em linguagem natural.

3.2 Chainbase

Chainbase é uma rede de dados de cadeia completa, integrando todos os dados de blockchain em uma única plataforma. Suas funcionalidades exclusivas incluem:

• Lago de dados em tempo real: fornece um lago de dados em tempo real dedicado ao fluxo de dados da Blockchain.
• Arquitetura de dupla cadeia: camada de execução construída com base no Eigenlayer AVS, formando uma arquitetura de dupla cadeia paralela com o algoritmo de consenso CometBFT.
• Padrão de formato de dados inovador: introdução do padrão de formato de dados "manuscripts", otimizando a estrutura e a utilização dos dados da indústria de criptomoedas.
• Modelo de mundo criptográfico: combinar tecnologia de modelos de IA para criar um modelo de IA capaz de entender, prever transações em Blockchain e interagir com elas.

O modelo de IA Theia da Chainbase é um dos seus principais destaques, baseado no modelo DORA da NVIDIA, combinando dados on-chain e off-chain, bem como atividades espaciais e temporais, aprendendo e analisando padrões criptográficos, respondendo através de inferência causal.

3.3 Espaço e Tempo

Space and Time (SxT) está empenhada em criar uma camada de computação verificável, expandindo provas de conhecimento zero em armazéns de dados descentralizados. Sua tecnologia inovadora Proof of SQL é uma técnica de prova de conhecimento zero que garante que as consultas SQL executadas em armazéns de dados descentralizados sejam à prova de adulterações e verificáveis.

SxT colabora com o laboratório de inovação em AI da Microsoft para desenvolver ferramentas de AI generativa, facilitando aos usuários a análise de dados de blockchain através de processamento de linguagem natural. No Space and Time Studio, os usuários podem inserir consultas em linguagem natural, e a AI automaticamente as converte em SQL e executa a consulta.

Conclusão e Perspetivas

A tecnologia de indexação de dados em Blockchain evoluiu desde a fonte de dados dos nós, passando pelo desenvolvimento da análise de dados e do indexador, até se tornar um serviço de dados de cadeia completa capacitado por IA, passando por um processo de aperfeiçoamento gradual. A evolução contínua dessas tecnologias não só melhorou a eficiência e a precisão do acesso aos dados, mas também proporcionou uma experiência inteligente aos usuários.

No futuro, com o contínuo desenvolvimento de novas tecnologias como a IA e a prova de zero conhecimento, os serviços de dados de Blockchain tornar-se-ão ainda mais inteligentes e seguros. Como infraestrutura, os serviços de dados de Blockchain continuarão a fornecer um forte apoio ao progresso e à inovação do setor.