Configurar e preparar um ambiente Azure Databricks
Este módulo introduz a plataforma Azure Databricks e o seu papel na engenharia de dados moderna. Foca-se na arquitetura do serviço, integrações, opções de compute e organização de objetos em Unity Catalog, para compreenderes como preparar um workspace para workloads escaláveis de analytics, engenharia de dados e IA no Azure.
- Explorar o Azure Databricks
- Compreender a arquitetura do Azure Databricks
- Compreender as integrações do Azure Databricks
- Selecionar e configurar compute no Azure Databricks
- Criar e organizar objetos no Unity Catalog
Proteger e governar objetos do Unity Catalog no Azure Databricks
Este módulo aborda as capacidades de segurança e governação do Unity Catalog no Azure Databricks. Trabalha controlo de acessos, permissões granulares, gestão de credenciais, data lineage, audit logging e práticas de partilha segura, para protegeres e gerires ativos de dados em ambientes empresariais.
- Proteger objetos do Unity Catalog
- Governar objetos do Unity Catalog
Preparar e processar dados com Azure Databricks
Este módulo foca-se no workflow central de engenharia de dados em Azure Databricks. Abrange modelação de dados, ingestão para Unity Catalog, limpeza, transformação, carregamento e implementação de restrições de qualidade de dados, para construíres pipelines fiáveis e dados prontos para analytics numa arquitetura lakehouse.
- Desenhar e implementar modelação de dados com Azure Databricks
- Ingerir dados para o Unity Catalog
- Limpar, transformar e carregar dados no Unity Catalog
- Implementar e gerir restrições de qualidade de dados com Azure Databricks
Implementar e manter pipelines de dados e workloads com Azure Databricks
Este módulo aborda a implementação e operação contínua de pipelines e workloads em Azure Databricks. Inclui desenho de pipelines, Lakeflow Jobs, processos de ciclo de vida de desenvolvimento e monitorização de workloads, para gerires orquestração, fiabilidade, troubleshooting e otimização de desempenho em produção.
- Desenhar e implementar pipelines de dados com Azure Databricks
- Implementar Lakeflow Jobs com Azure Databricks
- Implementar processos de ciclo de vida de desenvolvimento no Azure Databricks
- Monitorizar, fazer troubleshooting e otimizar workloads no Azure Databricks
