CADERNO DE FASE 5-3 GENERATIVE AI DEVELOPER PROFESSIONAL

Domínio 1: Integração de modelos de base, gerenciamento de dados e conformidade 31% do exame

1.1 Analisar requisitos e projetar soluções de IA generativa.

• Criar designs arquitetônicos abrangentes alinhados a necessidades de negócios e restrições técnicas específicas (por exemplo, usando FMs adequados, padrões de integração, estratégias de implantação).
• Desenvolver implementações técnicas de prova de conceito para validar viabilidade, características de performance e valor de negócio antes da implantação em escala (por exemplo, usando o Amazon Bedrock).
• Criar componentes técnicos padronizados para garantir implementação consistente em vários cenários de implantação (por exemplo, usando o AWS Well-Architected Framework e a lente de IA generativa da AWS WA Tool).

1.2 Selecionar e configurar FMs.

• Avaliar e escolher FMs para garantir o alinhamento ideal com casos de uso de negócios e requisitos técnicos específicos (por exemplo, usando benchmarks de performance, análise de capacidades, avaliação de limitações).
• Criar padrões de arquitetura flexíveis para permitir a seleção dinâmica de modelos e a troca de provedores sem exigir modificações no código (por exemplo, usando AWS Lambda, Amazon API Gateway, AWS AppConfig).
• Projetar sistemas de IA resilientes para garantir a operação contínua durante interrupções de serviço (por exemplo, usando padrões de circuit breaker com o AWS Step Functions, inferência entre Regiões do Amazon Bedrock para modelos com disponibilidade regional limitada, implantação de modelos em várias Regiões, estratégias de degradação controlada).
• Implementar a implantação de personalizações de FMs e o gerenciamento do ciclo de vida (por exemplo, usando o Amazon SageMaker AI para implantar modelos com ajuste fino específicos de domínio, técnicas de adaptação eficientes em parâmetros como adaptação de baixo posto [LoRA] e adaptadores para implantação de modelos, o SageMaker Model Registry para versionar e implantar modelos personalizados, pipelines de implantação automatizados para atualizar modelos, estratégias de rollback para implantações com falha, gerenciamento de ciclo de vida para aposentar e substituir modelos).

1.3 Implementar pipelines de validação e processamento de dados para consumo por FMs.

• Criar fluxos de trabalho abrangentes de validação de dados para garantir que os dados atendam aos padrões de qualidade para consumo por FMs (por exemplo, usando AWS Glue Data Quality, SageMaker Data Wrangler, funções personalizadas do Lambda, métricas do Amazon CloudWatch).
• Criar fluxos de trabalho de processamento de dados para lidar com tipos de dados complexos, incluindo texto, imagem, áudio e dados tabulares, com requisitos de processamento especializados para consumo por FMs (por exemplo, usando modelos multimodais do Amazon Bedrock, SageMaker Processing, Amazon Transcribe, arquiteturas avançadas de pipelines multimodais).
• Formatar os dados de entrada para inferência de FMs de acordo com os requisitos específicos do modelo (por exemplo, usando formatação JSON para requisições à API do Amazon Bedrock, preparação de dados estruturados para endpoints do SageMaker AI, formatação de conversas para aplicações baseadas em diálogo).
• Aprimorar a qualidade dos dados de entrada para melhorar a qualidade e a consistência das respostas dos FMs (por exemplo, usando o Amazon Bedrock para reformatar texto, o Amazon Comprehend para extrair entidades, funções do Lambda para normalizar dados).

1.4 Projetar e implementar soluções de armazenamento vetorial.

• Criar arquiteturas avançadas de bancos de dados vetoriais específicas para o enriquecimento de FMs, permitindo recuperação semântica eficiente além dos recursos de busca tradicionais (por exemplo, usando bases de conhecimento do Amazon Bedrock para organização hierárquica, Amazon OpenSearch Service com o plugin Neural para integração com o Amazon Bedrock e segmentação por tópicos, Amazon RDS com repositórios de documentos no Amazon S3, Amazon DynamoDB com bancos de dados vetoriais para metadados e embeddings).
• Desenvolver frameworks abrangentes de metadados para melhorar a precisão da busca e a percepção de contexto nas interações com FMs (por exemplo, usando metadados de objetos do S3 para carimbos de data/hora de documentos, atributos personalizados para informações de autoria, sistemas de tags para classificação por domínio).
• Implementar arquiteturas de bancos de dados vetoriais de alta performance para otimizar a busca semântica em escala na recuperação para FMs (por exemplo, usando estratégias de fragmentação do OpenSearch, abordagens com vários índices para domínios especializados, técnicas de indexação hierárquica).
• Usar serviços da AWS para criar componentes de integração que se conectem a recursos (por exemplo, sistemas de gerenciamento de documentos, bases de conhecimento, wikis internas) para integração abrangente de dados em aplicações de IA generativa.
• Projetar e implantar sistemas de manutenção de dados para garantir que os armazenamentos vetoriais contenham informações atuais e precisas para o enriquecimento de FMs (por exemplo, usando mecanismos de atualização incremental, sistemas de detecção de mudanças em tempo real, fluxos de trabalho de sincronização automatizados, pipelines de atualização agendados).

1.5 Projetar mecanismos de recuperação para o enriquecimento de FMs.

• Desenvolver abordagens eficazes de segmentação de documentos para otimizar a performance da recuperação no enriquecimento de contexto de FMs (por exemplo, usando os recursos de fragmentação [chunking] do Amazon Bedrock, funções do Lambda para implementar fragmentação de tamanho fixo, processamento personalizado para fragmentação hierárquica com base na estrutura do conteúdo).
• Selecionar e configurar soluções de embeddings ideais para criar representações vetoriais eficientes para busca semântica (por exemplo, usando embeddings do Amazon Titan com base em dimensionalidade e adequação ao domínio, avaliando as características de performance dos modelos de embeddings do Amazon Bedrock, usando funções do Lambda para gerar embeddings em lote).
• Implantar e configurar soluções de busca vetorial para habilitar recursos de busca semântica no enriquecimento de FMs (por exemplo, usando o OpenSearch Service com recursos de busca vetorial).
• Criar arquiteturas de busca avançadas para melhorar a relevância e a precisão das informações recuperadas para o contexto dos FMs (por exemplo, usando o OpenSearch para busca semântica, busca híbrida que combina palavras-chave e vetores, modelos de reclassificação [reranker] do Amazon Bedrock).
• Desenvolver sistemas sofisticados de tratamento de consultas para melhorar a eficácia da recuperação e a qualidade dos resultados no enriquecimento de FMs (por exemplo, usando o Amazon Bedrock para expansão de consultas, funções do Lambda para decomposição de consultas, Step Functions para transformação de consultas).
• Criar mecanismos de acesso consistentes para permitir a integração transparente com FMs (por exemplo, usando interfaces de chamada de função para busca vetorial, clientes do Model Context Protocol [MCP] para consultas vetoriais, padrões de API padronizados para enriquecimento por recuperação).

1.6 Implementar estratégias de engenharia de prompts e governança para interações com FMs.

• Criar frameworks eficazes de instrução de modelos para controlar o comportamento e as saídas dos FMs (por exemplo, usando o Amazon Bedrock Prompt Management para aplicar definições de papéis, o Amazon Bedrock Guardrails para aplicar diretrizes de IA responsável, configurações de modelos [templates] para formatar respostas).
• Criar sistemas de IA interativos para manter o contexto e melhorar as interações dos usuários com FMs (por exemplo, usando Step Functions para fluxos de esclarecimento, Amazon Comprehend para reconhecimento de intenção, DynamoDB para armazenamento do histórico de conversas).
• Implementar sistemas abrangentes de gerenciamento e governança de prompts para garantir consistência e supervisão das operações dos FMs (por exemplo, usando o Amazon Bedrock Prompt Management para criar modelos parametrizados e fluxos de aprovação, Amazon S3 para armazenar repositórios de modelos, AWS CloudTrail para rastrear o uso, Amazon CloudWatch Logs para registrar acessos).
• Desenvolver sistemas de garantia de qualidade para assegurar a eficácia e a confiabilidade dos prompts para FMs (por exemplo, usando funções do Lambda para verificar a saída esperada, Step Functions para testar casos extremos, CloudWatch para testar regressão de prompts).
• Aprimorar a performance dos FMs refinando prompts de forma iterativa e melhorando a qualidade das respostas além das técnicas básicas de prompting (por exemplo, usando componentes de entrada estruturados, especificações de formato de saída, padrões de instrução de cadeia de pensamento, ciclos de feedback).
• Projetar sistemas de prompts complexos para lidar com tarefas sofisticadas com FMs (por exemplo, usando o Amazon Bedrock Prompt Flows para cadeias sequenciais de prompts, ramificação condicional com base nas respostas do modelo, componentes de prompt reutilizáveis, etapas integradas de pré-processamento e pós-processamento).

Domínio 2: Implementação e integração 26% do exame

2.1 Implementar soluções de IA agêntica e integrações de ferramentas.

• Desenvolver sistemas autônomos inteligentes com recursos adequados de memória e gerenciamento de estado (por exemplo, usando Strands Agents e AWS Agent Squad para sistemas multiagentes, MCP para interações entre agentes e ferramentas).
• Criar sistemas avançados de resolução de problemas para dar aos FMs a capacidade de decompor e resolver problemas complexos seguindo etapas de raciocínio estruturadas (por exemplo, usando Step Functions para implementar padrões ReAct e abordagens de raciocínio em cadeia de pensamento).
• Desenvolver fluxos de trabalho de IA com salvaguardas para garantir o comportamento controlado dos FMs (por exemplo, usando Step Functions para implementar condições de parada, funções do Lambda para implementar mecanismos de tempo limite, políticas do IAM para impor limites de recursos, circuit breakers para mitigar falhas).
• Criar sistemas sofisticados de coordenação de modelos para otimizar a performance em várias capacidades (por exemplo, usando FMs especializados para executar tarefas complexas, lógica de agregação personalizada para conjuntos [ensembles] de modelos, frameworks de seleção de modelos).
• Desenvolver sistemas de IA colaborativos para ampliar as capacidades dos FMs com a expertise humana (por exemplo, usando Step Functions para orquestrar processos de revisão e aprovação, API Gateway para implementar mecanismos de coleta de feedback, padrões de aumento humano).
• Implementar integrações inteligentes de ferramentas para estender as capacidades dos FMs e garantir operações confiáveis das ferramentas (por exemplo, usando a API do Strands para implementar comportamentos personalizados, definições de função padronizadas, funções do Lambda para implementar tratamento de erros e validação de parâmetros).
• Desenvolver frameworks de extensão de modelos para ampliar as capacidades dos FMs (por exemplo, usando funções do Lambda para implementar servidores MCP stateless que fornecem acesso leve a ferramentas, Amazon ECS para implementar servidores MCP que fornecem ferramentas complexas, bibliotecas cliente do MCP para garantir padrões de acesso consistentes).

2.2 Implementar estratégias de implantação de modelos.

• Implantar FMs com base nas necessidades específicas da aplicação e nos requisitos de performance (por exemplo, usando funções do Lambda para invocação sob demanda, configurações de throughput provisionado do Amazon Bedrock, endpoints do SageMaker AI para implementar soluções híbridas).
• Implantar soluções de FMs tratando os desafios exclusivos dos grandes modelos de linguagem (LLMs), que diferem das implantações tradicionais de ML (por exemplo, implementando padrões de implantação baseados em contêineres otimizados para requisitos de memória, utilização de GPU e capacidade de processamento de tokens, seguindo estratégias especializadas de carregamento de modelos).
• Desenvolver abordagens otimizadas de implantação de FMs para equilibrar performance e requisitos de recursos em workloads de IA generativa (por exemplo, selecionando modelos adequados, usando modelos pré-treinados menores para tarefas específicas, usando cascateamento de modelos via API para executar consultas rotineiras).

2.3 Projetar e implementar arquiteturas de integração corporativa.

• Criar soluções de conectividade corporativa para incorporar de forma transparente as capacidades dos FMs a ambientes corporativos existentes (por exemplo, usando integrações via API com sistemas legados, arquiteturas orientadas a eventos para implementar acoplamento flexível, padrões de sincronização de dados).
• Desenvolver capacidades de IA integradas para aprimorar aplicações existentes com funcionalidades de IA generativa (por exemplo, usando o API Gateway para implementar integrações de microsserviços, funções do Lambda como manipuladores de webhooks, Amazon EventBridge para implementar integrações orientadas a eventos).
• Criar frameworks de acesso seguro para garantir controles de segurança adequados (por exemplo, usando federação de identidades entre serviços de FMs e sistemas corporativos, controle de acesso baseado em perfil para acesso a modelos e dados, acesso de API com privilégio mínimo aos FMs).
• Desenvolver soluções de IA entre ambientes para garantir a conformidade de dados entre jurisdições e, ao mesmo tempo, permitir o acesso a FMs (por exemplo, usando o AWS Outposts para integração de dados on-premises, o AWS Wavelength para implantações na borda, roteamento seguro entre recursos de nuvem e on-premises).
• Implementar pipelines de CI/CD e arquiteturas de gateway de IA generativa para implementar padrões de consumo seguros e em conformidade em ambientes corporativos (por exemplo, usando AWS CodePipeline, AWS CodeBuild, frameworks de testes automatizados para implantação e teste contínuos de componentes de IA generativa com verificações de segurança e suporte a rollback, camadas de abstração centralizadas, mecanismos de observabilidade e controle).

2.4 Implementar integrações com APIs de FMs.

• Criar sistemas flexíveis de interação com modelos (por exemplo, usando as APIs do Amazon Bedrock para gerenciar requisições síncronas de vários ambientes de computação, SDKs da AWS específicos por linguagem e Amazon SQS para processamento assíncrono, API Gateway para fornecer clientes de API personalizados com validação de requisições).
• Desenvolver sistemas de interação de IA em tempo real para fornecer feedback imediato dos FMs (por exemplo, usando APIs de streaming do Amazon Bedrock para entrega incremental de respostas, WebSockets ou eventos enviados pelo servidor para gerar texto em tempo real, API Gateway para implementar codificação de transferência em partes [chunked]).
• Criar sistemas de FMs resilientes para garantir operações confiáveis (por exemplo, usando o SDK da AWS para backoff exponencial, API Gateway para gerenciar limitação de taxa, mecanismos de fallback para degradação controlada, AWS X-Ray para fornecer observabilidade entre limites de serviços).
• Desenvolver sistemas inteligentes de roteamento de modelos para otimizar a seleção de modelos (por exemplo, usando código da aplicação para implementar configurações de roteamento estático, Step Functions para roteamento dinâmico baseado em conteúdo para FMs especializados, roteamento inteligente de modelos com base em métricas, API Gateway com transformações de requisição para a lógica de roteamento).

2.5 Implementar padrões de integração de aplicações e ferramentas de desenvolvimento.

• Criar interfaces de API para FMs que atendam aos requisitos específicos de workloads de IA generativa (por exemplo, usando o API Gateway para lidar com respostas em streaming, gerenciamento de limites de tokens, estratégias de novas tentativas para lidar com tempos limite do modelo).
• Desenvolver interfaces de IA acessíveis para acelerar a adoção e a integração de FMs (por exemplo, usando o AWS Amplify para desenvolver componentes declarativos de interface, especificações OpenAPI para abordagens de desenvolvimento orientadas a API, Amazon Bedrock Prompt Flows para construtores de fluxos de trabalho sem código).
• Criar aprimoramentos em sistemas de negócios (por exemplo, usando funções do Lambda para implementar melhorias em gerenciamento de relacionamento com o cliente [CRM], Step Functions para orquestrar sistemas de processamento de documentos, Amazon Bedrock Data Automation para gerenciar fluxos de trabalho automatizados de processamento de dados).
• Aumentar a produtividade dos desenvolvedores para acelerar os fluxos de desenvolvimento de aplicações de IA generativa (por exemplo, usando o Amazon Q Developer para gerar e refatorar código, sugestões de código para assistência com APIs, testes de componentes de IA, otimização de performance).
• Desenvolver aplicações avançadas de IA generativa para implementar capacidades sofisticadas de IA (por exemplo, usando Strands Agents e AWS Agent Squad para orquestração nativa da AWS, Step Functions para orquestrar padrões de design de agentes, Amazon Bedrock para gerenciar padrões de encadeamento de prompts).
• Melhorar a eficiência da solução de problemas em aplicações de FMs (por exemplo, usando o CloudWatch Logs Insights para analisar prompts e respostas, X-Ray para rastrear chamadas de API de FMs, Amazon Q Developer para implementar reconhecimento de padrões de erro específicos de IA generativa).

Domínio 3: Segurança, proteção e governança de IA 20% do exame

3.1 Implementar controles de segurança de entrada e saída.

• Desenvolver sistemas abrangentes de segurança de conteúdo para proteger contra entradas nocivas de usuários nos FMs (por exemplo, usando guardrails do Amazon Bedrock para filtrar conteúdo, Step Functions e funções do Lambda para implementar fluxos de moderação personalizados, mecanismos de validação em tempo real).
• Criar frameworks de segurança de conteúdo para evitar saídas nocivas (por exemplo, usando guardrails do Amazon Bedrock para filtrar respostas, avaliações especializadas de FMs para moderação de conteúdo e detecção de toxicidade, transformações de texto para SQL para garantir resultados determinísticos).
• Desenvolver sistemas de verificação de exatidão para reduzir alucinações nas respostas dos FMs (por exemplo, usando bases de conhecimento do Amazon Bedrock para fundamentar respostas e realizar verificação de fatos, pontuação de confiança e busca por similaridade semântica para verificação, JSON Schema para impor saídas estruturadas).
• Criar sistemas de segurança com defesa em profundidade para fornecer proteção abrangente contra o uso indevido de FMs (por exemplo, usando o Amazon Comprehend para desenvolver filtros de pré-processamento, o Amazon Bedrock para implementar guardrails baseados em modelo, funções do Lambda para realizar validação de pós-processamento, API Gateway para implementar filtragem de respostas de API).
• Implementar detecção avançada de ameaças para proteger contra entradas adversárias e vulnerabilidades de segurança (por exemplo, usando mecanismos de detecção de injeção de prompt e jailbreak, sanitização de entradas e filtros de conteúdo, classificadores de segurança, fluxos de trabalho automatizados de testes adversários).

3.2 Implementar controles de segurança e privacidade de dados.

• Desenvolver ambientes de IA protegidos para garantir segurança abrangente nas implantações de FMs (por exemplo, usando VPC endpoints para isolar redes, políticas do IAM para impor padrões seguros de acesso a dados, AWS Lake Formation para fornecer acesso granular a dados, CloudWatch para monitorar o acesso a dados).
• Desenvolver sistemas que preservem a privacidade para proteger informações sigilosas durante as interações com FMs (por exemplo, usando o Amazon Comprehend e o Amazon Macie para detectar informações de identificação pessoal [PII], recursos nativos de privacidade de dados do Amazon Bedrock, guardrails do Amazon Bedrock para filtrar saídas, configurações do Amazon S3 Lifecycle para implementar políticas de retenção de dados).
• Criar sistemas de IA focados em privacidade para proteger a privacidade do usuário mantendo a utilidade e a eficácia dos FMs (por exemplo, usando técnicas de mascaramento de dados, detecção de PII do Amazon Comprehend, estratégias de anonimização para informações sigilosas, guardrails do Amazon Bedrock).

3.3 Implementar mecanismos de governança e conformidade de IA.

• Desenvolver frameworks de conformidade para garantir a conformidade regulatória das implantações de FMs (por exemplo, usando o SageMaker AI para desenvolver cartões de modelo programáticos, o AWS Glue para rastrear automaticamente a linhagem de dados, marcação de metadados para atribuição sistemática de fontes de dados, CloudWatch Logs para coletar logs abrangentes de decisões).
• Implementar o rastreamento de fontes de dados para manter a rastreabilidade em aplicações de IA generativa (por exemplo, usando o AWS Glue Data Catalog para registrar fontes de dados, marcação de metadados para atribuição de fontes em conteúdo gerado por FMs, CloudTrail para registro de auditoria).
• Criar sistemas de governança organizacional para garantir supervisão consistente das implementações de FMs (por exemplo, usando frameworks abrangentes alinhados às políticas organizacionais, aos requisitos regulatórios e aos princípios de IA responsável).
• Implementar monitoramento contínuo e controles avançados de governança para dar suporte a auditorias de segurança e à prontidão regulatória (por exemplo, usando detecção automatizada de uso indevido, desvio e violações de política, monitoramento de desvio de viés, fluxos de trabalho automatizados de alerta e correção, redação no nível de tokens, registro de respostas, filtros de política para saídas de IA).

3.4 Implementar princípios de IA responsável.

• Desenvolver sistemas de IA transparentes nas saídas dos FMs (por exemplo, usando exibições de raciocínio para fornecer explicações ao usuário, CloudWatch para coletar métricas de confiança e quantificar a incerteza, apresentação de evidências para atribuição de fontes, rastreamento de agentes do Amazon Bedrock para fornecer trilhas de raciocínio).
• Aplicar avaliações de imparcialidade para garantir saídas de FMs sem viés (por exemplo, usando métricas de imparcialidade predefinidas no CloudWatch, Amazon Bedrock Prompt Management e Amazon Bedrock Prompt Flows para realizar testes A/B sistemáticos, Amazon Bedrock com soluções de LLM como juiz para realizar avaliações automatizadas de modelos).
• Desenvolver sistemas de IA em conformidade com políticas para garantir a adesão às práticas de IA responsável (por exemplo, usando guardrails do Amazon Bedrock com base nos requisitos de política, cartões de modelo para documentar as limitações dos FMs, funções do Lambda para realizar verificações automatizadas de conformidade).

Domínio 4: Eficiência operacional e otimização de aplicações de IA generativa 12% do exame

4.1 Implementar estratégias de otimização de custos e eficiência de recursos.

• Desenvolver sistemas de eficiência de tokens para reduzir os custos dos FMs mantendo a eficácia (por exemplo, usando estimativa e rastreamento de tokens, otimização da janela de contexto, controles de tamanho de resposta, compressão de prompts, poda de contexto, limitação de respostas).
• Criar frameworks econômicos de seleção de modelos (por exemplo, usando avaliação da compensação entre custo e capacidade, uso de FMs em camadas conforme a complexidade da consulta, equilíbrio entre custo de inferência e qualidade da resposta, medição da relação preço-performance, padrões de inferência eficientes).
• Desenvolver sistemas de FMs de alta performance para maximizar a utilização de recursos e o throughput em workloads de IA generativa (por exemplo, usando estratégias de processamento em lote, planejamento de capacidade, monitoramento de utilização, configurações de auto scaling, otimização de throughput provisionado).
• Criar sistemas inteligentes de cache para reduzir custos e melhorar os tempos de resposta evitando invocações desnecessárias de FMs (por exemplo, usando cache semântico, impressão digital de resultados, cache na borda, hashing determinístico de requisições, cache de prompts).

4.2 Otimizar a performance da aplicação.

• Criar sistemas de IA responsivos para tratar as compensações entre latência e custo e melhorar a experiência do usuário com FMs (por exemplo, usando pré-computação para consultas previsíveis, modelos do Amazon Bedrock otimizados para latência em aplicações sensíveis ao tempo, requisições paralelas para fluxos de trabalho complexos, streaming de respostas, benchmarking de performance).
• Aprimorar a performance da recuperação para melhorar a relevância e a velocidade das informações recuperadas no enriquecimento de contexto de FMs (por exemplo, usando otimização de índices, pré-processamento de consultas, implementação de busca híbrida com pontuação personalizada).
• Implementar a otimização de throughput de FMs para tratar os desafios específicos de throughput das workloads de IA generativa (por exemplo, usando otimização do processamento de tokens, estratégias de inferência em lote, gerenciamento de invocações simultâneas de modelos).
• Aprimorar a performance dos FMs para obter resultados ideais em casos de uso específicos de IA generativa (por exemplo, usando configurações de parâmetros específicas do modelo, testes A/B para avaliar melhorias, seleção adequada de temperatura e top-k/top-p com base nos requisitos).
• Criar sistemas eficientes de alocação de recursos específicos para workloads de FMs (por exemplo, usando planejamento de capacidade para requisitos de processamento de tokens, monitoramento de utilização para padrões de prompt e conclusão, configurações de auto scaling otimizadas para padrões de tráfego de IA generativa).
• Otimizar a performance de sistemas de FMs para fluxos de trabalho de IA generativa (por exemplo, usando criação de perfil de chamadas de API para padrões de prompt e conclusão, otimização de consultas a bancos de dados vetoriais para enriquecimento por recuperação, técnicas de redução de latência específicas da inferência de LLMs, padrões eficientes de comunicação entre serviços).

4.3 Implementar sistemas de monitoramento para aplicações de IA generativa.

• Criar sistemas de observabilidade holísticos para fornecer visibilidade completa da performance de aplicações de FMs (por exemplo, usando métricas operacionais, rastreamento de performance, rastreamento de interações com FMs, métricas de impacto nos negócios com painéis personalizados).
• Implementar sistemas abrangentes de monitoramento de IA generativa para identificar problemas de forma proativa e avaliar indicadores-chave de performance específicos das implementações de FMs (por exemplo, usando o CloudWatch para rastrear uso de tokens, eficácia dos prompts, taxas de alucinação e qualidade das respostas; detecção de anomalias para padrões de rajadas de tokens e desvio de respostas; logs de invocação de modelos do Amazon Bedrock para análise detalhada de requisições e respostas; benchmarks de performance; detecção de anomalias de custo).
• Desenvolver soluções integradas de observabilidade para fornecer insights acionáveis para aplicações de FMs (por exemplo, usando painéis de métricas operacionais, visualizações de impacto nos negócios, monitoramento de conformidade, rastreabilidade forense e registro de auditoria, rastreamento de interações de usuários, rastreamento de padrões de comportamento de modelos).
• Criar frameworks de performance de ferramentas para garantir a operação e a utilização ideais das ferramentas pelos FMs (por exemplo, usando rastreamento de padrões de chamada, coleta de métricas de performance, observabilidade de chamadas de ferramentas e rastreamento da coordenação multiagente, linhas de base de uso para detecção de anomalias).
• Criar sistemas de gerenciamento operacional de armazenamentos vetoriais para garantir a operação e a confiabilidade ideais no enriquecimento de FMs (por exemplo, usando monitoramento de performance de bancos de dados vetoriais, rotinas automatizadas de otimização de índices, processos de validação da qualidade dos dados).
• Desenvolver frameworks de solução de problemas específicos para FMs para identificar modos de falha exclusivos da IA generativa que não existem em sistemas tradicionais de ML (por exemplo, usando conjuntos de dados de referência [golden datasets] para detectar alucinações, técnicas de comparação de saídas para análise de consistência das respostas, rastreamento do caminho de raciocínio para identificar erros lógicos, pipelines especializados de observabilidade).

Domínio 5: Testes, validação e solução de problemas 11% do exame

5.1 Implementar sistemas de avaliação para IA generativa.

• Desenvolver frameworks de avaliação abrangentes para avaliar a qualidade e a eficácia das saídas dos FMs além das abordagens tradicionais de avaliação de ML (por exemplo, usando métricas de relevância, exatidão factual, consistência e fluência).
• Criar sistemas sistemáticos de avaliação de modelos para identificar configurações ideais (por exemplo, usando as avaliações de modelos do Amazon Bedrock, testes A/B e testes canário de FMs, avaliação de vários modelos, análise de custo-performance para medir eficiência de tokens, relações entre latência e qualidade e resultados de negócios).
• Desenvolver mecanismos de avaliação centrados no usuário para melhorar continuamente a performance dos FMs com base na experiência do usuário (por exemplo, usando interfaces de feedback, sistemas de classificação das saídas do modelo, fluxos de trabalho de anotação para avaliar a qualidade das respostas).
• Criar processos sistemáticos de garantia de qualidade para manter padrões consistentes de performance dos FMs (por exemplo, usando fluxos de trabalho de avaliação contínua, testes de regressão das saídas do modelo, portões de qualidade automatizados para implantações).
• Desenvolver sistemas abrangentes de avaliação para garantir uma avaliação completa das saídas dos FMs sob várias perspectivas (por exemplo, usando avaliação de RAG, avaliação automatizada de qualidade com técnicas de LLM como juiz, interfaces de coleta de feedback humano).
• Implementar testes de qualidade de recuperação para avaliar e otimizar os componentes de recuperação de informações no enriquecimento de FMs (por exemplo, usando pontuação de relevância, verificação de correspondência de contexto, medições de latência de recuperação).
• Desenvolver frameworks de performance de agentes para garantir que os agentes executem tarefas de forma correta e eficiente (por exemplo, usando medições de taxa de conclusão de tarefas, avaliações da eficácia do uso de ferramentas, avaliações de agentes do Amazon Bedrock, avaliação da qualidade do raciocínio em fluxos de trabalho de várias etapas).
• Criar sistemas abrangentes de relatórios para comunicar de forma eficaz métricas de performance e insights às partes interessadas nas implementações de FMs (por exemplo, usando ferramentas de visualização, mecanismos automatizados de relatórios, visualizações de comparação de modelos).
• Criar sistemas de validação de implantação para manter a confiabilidade durante atualizações de FMs (por exemplo, usando fluxos de trabalho de usuários sintéticos, validação de saídas específica de IA para taxas de alucinação e desvio semântico, verificações de qualidade automatizadas para garantir a consistência das respostas).

5.2 Solucionar problemas em aplicações de IA generativa.

• Resolver problemas de tratamento de conteúdo para garantir que as informações necessárias sejam processadas por completo nas interações com FMs (por exemplo, usando diagnósticos de estouro da janela de contexto, estratégias dinâmicas de fragmentação, otimização do design de prompts, análise de erros relacionados a truncamento).
• Diagnosticar e resolver problemas de integração de FMs para identificar e corrigir problemas de integração de API específicos dos serviços de IA generativa (por exemplo, usando registro de erros, validação de requisições, análise de respostas).
• Solucionar problemas de engenharia de prompts para melhorar a qualidade e a consistência das respostas dos FMs além dos ajustes básicos de prompts (por exemplo, usando frameworks de teste de prompts, comparação de versões, refinamento sistemático).
• Solucionar problemas do sistema de recuperação para identificar e resolver questões que afetam a eficácia da recuperação de informações no enriquecimento de FMs (por exemplo, usando análise de relevância das respostas do modelo, diagnósticos de qualidade dos embeddings, monitoramento de desvio, resolução de problemas de vetorização, correção de fragmentação e pré-processamento, otimização da performance da busca vetorial).
• Solucionar problemas de manutenção de prompts para melhorar continuamente a performance das interações com FMs (por exemplo, usando testes de modelos e o CloudWatch Logs para diagnosticar confusão de prompts, X-Ray para implementar pipelines de observabilidade de prompts, validação de esquema para detectar inconsistências de formato, fluxos de trabalho sistemáticos de refinamento de prompts).