Metodologias de Recolha de Dados

Objetivos

• Trabalhar com Ficheiros JSON e APIs: Aprender a manipular ficheiros JSON e utilizar APIs para autenticação e pedidos HTTP.
• Executar Web Scraping: Utilizar bibliotecas de Python para recolher informações de websites de forma independente de APIs.
• Dominar Conceitos Avançados de SQL: Implementar views, stored procedures, subqueries, e índices, além de utilizar Polybase e trabalhar com ficheiros Parquet em Python.

Destinatários

• Este curso é ideal para analistas de dados, cientistas de dados, programadores e qualquer profissional interessado em aprender diferentes metodologias de recolha de dados, desde APIs e web scraping até técnicas avançadas de SQL

Pré-Requisitos

Os participantes devem ter conhecimentos básicos de programação, preferencialmente em Python, e noções de SQL. Familiaridade com conceitos de bases de dados será benéfica para aplicar ao máximo os conceitos abordados no curso.

Metodologia

Sessões expositivas devidamente complementadas com trabalhos práticos. Existirão casos de estudo com debate entre os alunos e orientados pelo docente. Estes casos consistem na apresentação da situação de uma organização (real ou ficcionada) onde são descritos os desafios que se lhe colocam. Os alunos deverão propor uma solução para o problema de acordo com a matéria exposta e o seu estudo.

Programa

• Como trabalhar com ficheiros JSON
• Introdução a APIs
• Web scraping
• Introdução a SQL
• Views em SQL
• Stored Procedures em SQL
• Polybase em SQL Server
• Subqueries em SQL
• Indices (clustered, non-clustered) em SQL
• Leitura e escrita de Ficheiros Parquet em Python