Armazenamento de dados externo

Os armazenamentos de dados externos permitem enviar informações do Chakra para seu próprio data warehouse, data lake ou qualquer tipo de armazenamento de dados. Esse envio ocorre em tempo real e é útil para sincronizar o estado dos dados do Chakra com seu warehouse quando o volume de dados é grande.

Atualmente, há suporte para os seguintes armazenamentos de dados

• AWS Kinesis
• Apache Kafka

A lista de armazenamentos de dados pode ser acessada no Dashboard de armazenamento de dados externo

OBSERVAÇÃO: estas páginas só podem ser usadas por usuários Admin .

AWS Kinesis

Adicione as seguintes informações para habilitar a conexão com um armazenamento de dados Kinesis

• Região - Região da AWS
• Nome do stream - nome do stream do Kinesis ao qual você quer se conectar
• Access Key Id - AWS accessKeyId
• Secret Access Key - AWS secretAccessKey

Testar

Para testar se a conexão é válida, clique em Test Connection

Se o teste for bem-sucedido, você verá uma mensagem como esta:

Se o teste falhar, você verá uma mensagem como esta:

Apache Kafka

Para configurar o Apache Kafka como um armazenamento de dados externo, forneça as seguintes informações:

• Broker (obrigatório) - lista de brokers do Kafka (mín. 1)
• SSL habilitado - indica se o SSL deve estar habilitado. Se estiver, também será necessário concluir as configurações específicas de SSL
• Rejeitar conexões não autorizadas com SSL - indica se o SSL deve rejeitar conexões não autorizadas
• CA SSL - certificados de Autoridade Certificadora (CA) SSL. O conteúdo deve estar em utf8
• Chave SSL - chave SSL, geralmente no formato client-key.pem. O conteúdo deve estar em utf8
• Certificado SSL - certificado SSL, geralmente no formato client-cert.pem. O conteúdo deve estar em utf8

Testar

Para testar se a conexão é válida, clique em Test Connection

Se o teste for bem-sucedido, você verá uma mensagem como esta:

Se o teste falhar, você verá uma mensagem como esta:

Postgres

Para configurar o Postgres como um armazenamento de dados externo, forneça as seguintes informações:

• Nome do host (obrigatório) - nome do host da instância do banco de dados
• Porta (obrigatório) - porta da instância do banco de dados
• Nome de usuário (obrigatório) - nome de usuário do banco de dados
• Senha (obrigatório) - senha do banco de dados
• Nome do banco de dados (obrigatório) - nome do banco de dados ao qual se conectar
  
  

Testar

Testar conexão

Para testar se a conexão é válida, clique em Test Connection

Se o teste for bem-sucedido, você verá uma mensagem como esta:

Se o teste falhar, você verá uma mensagem como esta:

Testar o envio de um evento de dados

Você também pode testar o envio de um evento de dados e a gravação em uma tabela de teste no banco de dados Postgres.

Primeiro, você precisa criar uma tabela chakra_connection_test .

create table "public"."chakra_connection_test" (	"id" uuid not null,	"createdAt" int8,	"data" jsonb );

Em seguida, insira dados de teste em JSON na caixa de dados de teste em JSON. Pressione "Send Test Data" para testar o envio do evento de dados.