DP-3028: Implement Generative AI engineering with Azure Databricks

Introdução aos modelos de linguagem no Azure Databricks
Os Large Language Models (LLMs) revolucionaram várias indústrias ao permitir capacidades avançadas de processamento de linguagem natural (NLP). Estes modelos são utilizados numa vasta gama de aplicações, incluindo resumo de texto, análise de sentimento, tradução automática, classificação zero-shot e aprendizagem few-shot.

• Compreender IA generativa
• Compreender Large Language Models (LLMs)
• Identificar os componentes-chave de aplicações com LLM
• Utilizar LLMs para tarefas de Processamento de Linguagem Natural (NLP)
• Exercício – Explorar modelos de linguagem

Implementar geração aumentada por recuperação (RAG) com Azure Databricks
A geração aumentada por recuperação (RAG) é uma técnica avançada de NLP que melhora as capacidades dos modelos generativos ao integrar mecanismos de recuperação de informação externa. Ao combinar modelos generativos com sistemas de recuperação, o RAG obtém dinamicamente informação relevante para enriquecer as respostas geradas, tornando-as mais precisas e contextualizadas.

• Explorar os conceitos principais de um fluxo de trabalho RAG
• Preparar os dados para RAG
• Encontrar dados relevantes com pesquisa vetorial
• Reordenar os resultados recuperados
• Exercício – Configurar RAG

Implementar raciocínio em múltiplas fases no Azure Databricks
Os sistemas de raciocínio em múltiplas fases decompõem problemas complexos em várias etapas, cada uma dedicada a uma tarefa de raciocínio específica. O resultado de uma etapa é utilizado como entrada para a seguinte, permitindo uma abordagem mais estruturada e sistemática à resolução de problemas.

• O que são sistemas de raciocínio em múltiplas fases?
• Explorar o LangChain
• Explorar o LlamaIndex
• Explorar o Haystack
• Explorar o framework DSPy
• Exercício – Implementar raciocínio em múltiplas fases com LangChain

Afinação de modelos de linguagem com Azure Databricks
A afinação (fine-tuning) utiliza o conhecimento geral dos LLMs para melhorar o desempenho em tarefas específicas, permitindo às organizações criar modelos especializados mais precisos e relevantes, economizando recursos e tempo em comparação com o treino do zero.

• O que é afinação?
• Preparar dados para afinação
• Afinar um modelo Azure OpenAI
• Exercício – Afinar um modelo Azure OpenAI

Avaliação de modelos de linguagem com Azure Databricks
Neste módulo, explora-se a avaliação de LLMs através de várias métricas e abordagens, os desafios e boas práticas na avaliação, e técnicas automatizadas incluindo o método LLM-as-a-judge.

• Explorar avaliação de LLMs
• Avaliar LLMs e sistemas de IA
• Avaliar LLMs com métricas padrão
• Descrever LLM-as-a-judge para avaliação
• Exercício – Avaliar um modelo Azure OpenAI

Revisão dos princípios de IA responsável para modelos de linguagem no Azure Databricks
Ao trabalhar com LLMs no Azure Databricks, é essencial compreender os princípios de IA responsável, considerações éticas e como mitigar riscos. Com base nos riscos identificados, aprenda a implementar ferramentas de segurança essenciais para proteger os sistemas de IA.

• O que é IA responsável?
• Identificar riscos
• Mitigar problemas
• Utilizar ferramentas de segurança para proteger os sistemas de IA
• Exercício – Implementar IA responsável

Implementar LLMOps no Azure Databricks
Otimize a implementação de LLMs com LLMOps (operações de modelos de linguagem) no Azure Databricks. Aprenda a implementar e gerir LLMs ao longo do seu ciclo de vida utilizando o Azure Databricks.

• Transição de MLOps tradicional para LLMOps
• Compreender a implementação de modelos
• Descrever capacidades de implementação com MLflow
• Utilizar Unity Catalog para gerir modelos
• Exercício – Implementar LLMOps