Estes desafios podem ser definidos como relativos à coleta, curadoria, qualidade, conformidade, governança e à vida útil de dados. Isto é apenas parte do complexo mundo do gerenciamento de dados. É um mundo no qual é entendido que se custa dez vezes mais completar uma unidade de trabalho quando os dados estão inadequados do que quando estão em perfeito estado. O gerenciamento de dados bem-sucedido demanda um entendimento acurado do valor inerente da informação.
1) Qualidade dos dados
O que são dados perfeitos? Os dados mais valiosos devem impulsionar benefícios econômicos futuros para a sua empresa, e a organização deve possuir o direito de usar estes dados ao mesmo tempo que se mantem em conformidade com a soberania e leis de proteção de dados. Embora não exista uma resposta perfeita para esta questão, já que ela refletirá as necessidades únicas do seu negócio, é evidente que alguns dados são melhores do que outros. Certas informações permanecem melhores por mais tempo do que outras. Em muitos casos, os dados que a sua empresa precisa podem ser coletados e utilizados em tempo real, mas possuem pouco valor depois disso. Há até um efeito de rede com a ativação de cada sistema inteligente e o surgimento de uma nova corrente de dados. Como você define o que são dados úteis no meio de tudo isto? E sobre os dados imprecisos? Quantas fontes de dados o seu negócio deve utilizar para assegurar a qualidade dos dados?
“Você pode ter todas as ferramentas sofisticadas que quiser, mas se a sua qualidade de dados não é boa, você não vai a lugar nenhum”, disse Veda Bawo, Diretor de Governança de Dados, Raymond James. Um conceito amplamente usado é o de “dimensões de qualidade de dados”, a porcentagem defeituosa em uma pilha de dados. Em média, 47% dos registros de dados recentemente criados possuem ao menos um erro crítico.
2) Gerenciamento de dados
É um conjunto de considerações que inclui implementação de tecnologia, aquisição de dados, governança, posse e outros. Se uma coleção de dados está coletando dados de várias fontes (como dados de clientes, informações de pesquisa ou dados chave comprados externamente), então o gerenciamento de dados é a arte de categorizar todas estas informações e acuradamente avaliar o seu valor e longevidade. O gerenciamento da vida útil dos dados é uma outra dimensão disto. Aglutinando a criação, armazenamento, uso, arquivo e exclusão de dados, ele dá ênfase à vida utilizável da informação que você coleta.
3) Insights de dados
Com tantos dados gerados em tempo real, nós também observamos o aumento do uso de inteligência artificial para lidar com algumas tarefas de gerenciamento de dados. A McKinsey afirma que a adoção de IA está acelerando, chegando a 56% dos negócios em 2021. Algumas ferramentas automatizam o manuseio e gerenciamento de dados, explorando dados transientes em tempo real enquanto, ao mesmo tempo, corretamente classificando e armazenando os dados mais propensos a terem valor de longo prazo.
Tecnologias de inteligência artificial generativa podem ajudá-lo a otimizar a informação que você coleta, particularmente na resolução de problemas relacionados ao viés de amostragem ou escassez de dados. O Gartner afirma que até 2025, mais de 30% dos novos remédios serão descobertos utilizando IA generativa. Na Suíça, o projeto SAFER explora como bases de dados representativas utilizando faces sintéticas podem ajudar a treinar ferramentas de “reconhecimento facial ético”, com sorte ajudando a reduzir casos em que o viés de amostragem entrega resultados inexatos.
4) Posse de dados
Há também o desafio da posse de dados. O GDPR, junto de legislações similares emergindo no mundo todo, definem a posse de dados e as permissões de atribuições que devem ser dadas antes que algum tipo de dado, especialmente os de natureza pessoal, possam ser explorados. Reguladores estão tentando definir uma estrutura que respeite os direitos para a coleta de dados junto de proteções fundamentais em torno do uso desta informação. Em essência, a posse de dados nem sempre é a mesma coisa que tê-los como sua propriedade. É possível que parte das informações que uma empresa colete possa não ser usada intensivamente. Os desafios da conformidade de dados significam que empresas devem assegurar que todos os dados que escolham utilizar sejam pertencentes – ou ao menos que os direitos de uso tenham sido acordados – a elas. A McKinsey argumenta que 60% dos negócios que atribuíram ao menos 20% de suas receitas para o uso de IA também mostram processos de governança de dados bem definidos, além de terem protocolos ativos para a boa política de dados.
Em escala global, o ambiente regulatório ainda não foi totalmente desenvolvido. Enquanto lugares com direitos de dados já definidos possam ser uma desvantagem referente ao uso desta informação, aquelas nações fora do escopo da proteção de dados são as que estão em maior risco. Isto ocorre porque empresas em tais economias precisam de regulamentos claros para ajudar a mitigar riscos futuros em locais que estão implementando suas regulações, ou empoderar o uso dos dados em locais onde este uso já está regulamentado. A Business & Decision afirma que empresas trabalhando dentro de regulamentações como a GDPR tendem a melhor convencer consumidores a confiarem nelas no armazenamento e uso de seus dados.
5) Governança de dados
Diferente da posse, a governança de dados é sobre definir a responsabilidade. Isto significa decidir a qual pessoa (s) dentro de uma empresa dar a autoridade e controle sobre os dados, como esta informação pode ser utilizada e como é protegida. O Gartner chama a governança de dados “uma disciplina integrativa para estruturar, descrever e governar ativos de informação permeando fronteiras técnicas e organizacionais para melhorar a eficiência, promover a transparência e permitir o insight comercial.”
Apenas quando todas estas questões forem resolvidas se tornará mais fácil extrair os benefícios comerciais que os dados fornecem. A resposta para o antigo provérbio de IA “lixo entra, lixo sai” é ter uma abordagem altamente sistêmica e profundamente granulada para todos os aspectos do gerenciamento de dados, ao longo de toda vida útil deles. Em última instância, se uma empresa não entender o que são os dados e como são governados, então ela não pode gerenciar estes dados de maneira eficiente. Dados mal administrados tendem a deteriorar em detrimento do negócio.