Departamento de Informática (UM)

Sistemas de Extração, Transformação e Carregamento de Dados

16720 [ME78ME7800007357]

Mestrado em Engenharia Informática [MEINF]

S2

Orlando Manuel Oliveira Belo

Objetivos

A introdução gradual das várias temáticas e conceitos associados a cada um dos tópicos do programa da unidade curricular permitirá ao longo do semestre, de forma gradual, providenciar aos alunos o conhecimento e a perícia necessária para alcançarem os objetivos definidos, através da realização de um trabalho prático e de uma prova escrita, cujas etapas abordarão cada uma das temáticas abordadas no programa da unidade curricular, alinhadas com o cumprimento gradual dos objetivos referidos. A sequência dos vários temas permitirá, também, apresentar aos alunos os desafios mais usuais que a implementação de um sistema de extração, transformação e carregamento de dados para um data warehouse nos coloca, bem como conhecer os modelos, métodos e as tecnologias mais adequadas para os ultrapassar.

Programa

1. Introdução aos sistemas de povoamento de data warehouses.
2. Projeto e implementação de sistemas de povoamento de data warehouses.
3. Modelos e serviços para extração, transformação e carregamento de dados em data warehouses.
4. Conceção e implementação de áreas de estágio para sistemas de povoamento.
5. Workflowing de processos para o povoamento de data warehouses.
6. Modelos e serviços de recuperação de processos de sistemas de povoamento
7. Aplicações e ferramentas para o desenvolvimento e implementação de sistemas de povoamento de data warehouses.

Bibliografia

Golfarelli, M., Rizzi, S., Data Warehouse Design: Modern Principles and Methodologies, McGraw-Hill Osborne Media; 1st Edition, May 26, 2009.

Kimball, R., Caserta, J., The Data Warehouse ETL Toolkit - Practical Techniques for Extracting, Cleaning, Conforming, and Delivering Data, John Wiley & Sons, 2004. ISBN-10: 0764567578. ISBN-13: 978-0764567575.

Densmore, J., Data Pipelines Pocket Reference: Moving and Processing Data for Analytics, O'Reilly Media; 1st edition, March 16, 2021. ISBN-10: 1492087831, ISBN-13: 978-1492087830.

Kimball, R., Reeves, L., Ross, M., Thornthwait, W., The Data Warehouse Lifecycle Toolkit – Pratical Techiniques for Building Data Warehouse and Business Intelligence Systems, John Wiley & Sons, 2ª Edição, 2008. ISBN-10: 0470149779. ISBN-13: 978-0470149775.

Resultados da aprendizagem

- Apresentar a terminologia e os conceitos gerais relacionados com o domínio dos sistemas de povoamento de data warehouses.
- Justificar a implementação de um sistema de povoamento de um data warehouse.
- Estudar os princípios e conceitos básicos da angariação de dados e outras técnicas mais avançadas de aquisição de informação em sistemas de dados homogéneos e heterogéneos
- Adquirir conhecimento e perícia no projeto e implementação de aplicações para a extração, transformação e carregamento de dados em sistemas de data warehousing.
- Saber modular concetual e logicamente um sistema de povoamento para um data warehouses, seguindo uma metodologia padrão.
- Conhecer os diversos modelos e arquiteturas base para suporte à implementação de um sistema de povoamento.

Método de avaliação

1 teste escrito (50%) e 1 trabalho prático realizado em grupo (50%).

Funcionamento

Turno: T 1; Docente: Orlando Manuel Oliveira Belo; Dep.: DI; Horas: 15.
Turno: TP 1; Docente: Ana Filipa Barros Duarte; Dep.: DI; Horas: 30.