Governança de IA Archives - Protiviti

Descubra como as normas ISO estão moldando a governança, segurança e ética no uso da Inteligência Artificial.

A Inteligência Artificial (IA) é um campo em constante evolução, que ganhou protagonismo nas discussões ao longo dos últimos anos, mas que tem raízes profundas na história. Desde a Antiguidade, a ideia de máquinas que realizam tarefas humanas intriga a humanidade. Na Grécia Antiga, por exemplo, filósofos como Aristóteles e Platão já discutiam conceitualmente criaturas artificiais capazes de desempenhar funções humanas. Na década de 1940, Warren McCulloch e Walter Pitts propuseram modelos de redes neurais baseados no funcionamento de neurônios, criando as bases para circuitos inteligentes. Em 1950, Alan Turing introduziu o “Teste de Turing” para avaliar a inteligência das máquinas. Já em 1956, John McCarthy cunhou o termo “inteligência artificial”, inaugurando oficialmente o campo.

Avanços Recentes e Impactos Práticos da IA

Nos últimos anos, a IA avançou de forma exponencial, permitindo inovações como reconhecimento facial, processamento de linguagem natural e ferramentas como ChatGPT e Google Gemini. Essas tecnologias estão transformando áreas como automação, produtividade e análise de dados.

No entanto, o uso crescente da IA também revela desafios significativos, incluindo riscos relacionados à privacidade de dados, decisões opacas e possíveis falhas de segurança. Esses desafios aumentam a necessidade de regulamentações claras.

Normas ISO: um marco na governança de IA

Para mitigar os riscos e promover o uso ético da IA, a ISO (International Organization for Standardization) introduziu duas normas cruciais em 2023:

ISO 23894 – Gestão de Riscos de IA

A ISO 23894 adapta os princípios de gestão de risco da ISO 31000 às particularidades da IA. Entre os riscos mais comuns tratados pela norma estão:

Essa norma é essencial para organizações que desenvolvem, implantam ou utilizam IA, ajudando a identificar e mitigar riscos eficazmente.

ISO 42001 – Sistema de Gestão de IA

A ISO 42001 estabelece um modelo de melhoria contínua baseado no ciclo PDCA (Plan-Do-Check-Act), oferecendo diretrizes para implementar e manter sistemas de IA seguros e éticos. Entre seus principais benefícios estão:

Esse framework é especialmente valioso para organizações que buscam se posicionar como líderes no uso responsável da tecnologia.

Conclusão

A Inteligência Artificial é uma tecnologia transformadora, mas seu impacto requer responsabilidade e regulamentação. Normas como a ISO 23894 e a ISO 42001 são ferramentas essenciais para orientar empresas em direção a um futuro ético, seguro e inovador. Ao adotar essas diretrizes, as organizações estão melhor equipadas para explorar o potencial da IA enquanto minimizam riscos e promovem a confiança pública.


Por Armando Ribeiro, Consultor de Cibersegurança na Protiviti Brasil | [email protected]

A nova lei exige que os sistemas de IA sejam transparentes, explicáveis e compreensíveis.

A Lei de IA da UE é a primeira regulamentação da União Europeia que estabelece um quadro regulatório e legal comum para a IA (Inteligência Artificial). Ela foi adotada em março de 2024 e será totalmente aplicável em 24 meses, entrando em vigor gradualmente até lá.

Mas quais medidas as empresas devem tomar para se adequar à nova regulamentação?

Primeiramente, vamos analisar por que a Lei é inovadora. Globalmente, este é o primeiro quadro regulatório a abordar o desenvolvimento, implantação e uso de IA em diversos setores. Ele utiliza uma abordagem baseada em risco para o acesso aos sistemas de IA, de modo que os requisitos de conformidade são ajustados de acordo com o impacto potencial na segurança e nos direitos fundamentais. A Lei exige que os sistemas de IA sejam transparentes, explicáveis e compreensíveis, responsabilizando as organizações que os desenvolvem pelos resultados.

Com o tempo, muitos acreditam que essa regulamentação irá fortalecer a confiança do público nos sistemas de IA.

Comparação de Regulamentações na UE, EUA e Reino Unido

Ao comparar a Lei de IA da UE com as abordagens adotadas nos EUA e no Reino Unido, há diferenças claras.

Nos EUA, a regulamentação é fragmentada, com diretrizes específicas para alguns setores, mas sem uma regulamentação federal abrangente sobre IA, como ocorre na UE. Os EUA desenvolveram estruturas e padrões por meio do Instituto Nacional de Padrões e Tecnologia (NIST), mas estes são não vinculantes. Dessa forma, há uma maior dependência da autorregulação da indústria para desenvolver uma IA ética.

A abordagem do Reino Unido é semelhante à dos EUA, com estruturas e princípios não vinculantes para o desenvolvimento de IA ética, em vez de regulamentação formal. Diante disso, a Lei de IA da UE poderia servir como um modelo para que outros países ou jurisdições desenvolvam suas abordagens/estruturas de regulamentação, dada a abordagem abrangente e estruturada da Lei.

À medida que a prevalência da IA continua a crescer, é provável que a regulamentação também evolua. Estabelecer diretrizes para que as organizações desenvolvam IA de maneira segura ajudará a aumentar a confiança do público, a adoção e a inovação, de modo que a regulamentação deve ser vista como algo positivo e como um caminho para fomentar a inovação.

O que as organizações podem fazer para se preparar para a Lei de IA da UE?

Primeiramente, as organizações devem avaliar onde estão adotando IA e realizar uma avaliação de riscos em conformidade com os níveis de risco previstos na Lei de IA da UE. Isso ajudará a medir os impactos futuros de forma antecipada e ajustar o desenvolvimento conforme necessário.

Em segundo lugar, elas devem garantir a responsabilidade em nível executivo e em toda a organização sobre os casos de uso que estão sendo desenvolvidos e o propósito de cada um, verificando se o desenvolvimento do sistema e os conjuntos de dados usados para treinamento estão alinhados a esse propósito.

Terceiro, à medida que os sistemas de IA forem criados, a equipe de desenvolvimento deve garantir que os algoritmos sejam bem documentados, de modo que sejam explicáveis e transparentes.

Devem também garantir que os conjuntos de dados utilizados no desenvolvimento dos algoritmos sejam adequados ao propósito, que os dados sejam justos e que quaisquer resultados dos sistemas de IA respeitem os direitos fundamentais.

Uma vez desenvolvido, o sistema de IA precisará ser monitorado regularmente para garantir que não surjam novos riscos ou problemas. Além disso, as organizações devem investir em treinamento sobre alfabetização em dados e IA para que todos os colaboradores compreendam os riscos éticos ou problemas relacionados.

Por fim, as organizações devem interagir com seus reguladores, colaborando em fóruns e grupos de trabalho, ajudando a moldar iniciativas nesse campo. Isso ajudará tanto as organizações quanto os reguladores a se prepararem para o futuro.


E no Brasil? Expectativas sobre o Marco Legal da IA

“No Brasil, o Marco Legal da Inteligência Artificial está sendo discutido no Congresso Nacional, com a intenção de criar um sistema regulatório que aborde o uso da IA em diferentes setores da economia. Inspirado em modelos internacionais, como o da União Europeia, o texto preliminar do projeto de lei – PL 2338/2023, regular potenciais impactos sobre a segurança e os direitos fundamentais. O projeto prevê a criação de uma autoridade competente para monitorar e regular a implementação da IA (potencialmente a ANPD), e a expectativa é que possa criar diretrizes mais claras para o desenvolvimento responsável da IA no Brasil, contribuindo para o avanço tecnológico com segurança jurídica e proteção de direitos e dados pessoais.” André Cilurzo – Diretor Executivo de Technology Risk Consulting na Protiviti Brasil.

Conteúdo original de Michelle Moody, Managing Director de Data & Analytics da Protiviti Inc., traduzido e adaptado por André Cilurzo. Originalmente publicado em AI Business.

De assistentes digitais pessoais a veículos autônomos, a Inteligência Artificial (IA) está revolucionando a forma como interagimos com a tecnologia e uns com os outros. Nesse cenário,  o Microsoft Copilot e o ChatGPT da Open AI estão na vanguarda, aproveitando tecnologias transformadoras como Generative Pretrained Transformers (GPT) e Large Language Models (LLM). Essas ferramentas avançadas aproveitam o processamento de linguagem natural para entender e gerar respostas semelhantes às humanas a partir de grandes quantidades de dados, executando uma ampla gama de tarefas, como análise de sentimentos, resposta a perguntas, resumo e geração de imagens e textos. À medida que continuamos a explorar as fronteiras na inovação da IA, as tendências sugerem um futuro cada vez mais guiado por essas plataformas poderosas que não apenas aprimoram nossas habilidades, mas também moldam um futuro em que a influência da IA irá permear todos os aspectos de nossas vidas.

IA e LLMs oferecem benefícios importante para empresas que desejam aproveitar o poder da linguagem natural para seus negócios. Essas ferramentas podem ajudar as empresas a aperfeiçoarem seu atendimento ao cliente, aumentar a produtividade, otimizar processos, gerar insights e agregar valor aos negócios. No entanto, IA e LLMs também representam desafios significativos para empresas que desejam usá-los de forma eficaz e responsável.

Isso porque elas exigem muitos dados, poder de computação e experiência para treinar, implantar e manter. Tanto a IA quanto os LLMs também levantam questões sobre questões éticas, legais e sociais, como privacidade de dados, segurança, preconceito, justiça, responsabilidade e transparência. É importante observar que os LLMs não são necessariamente treinados para precisão: em vez disso, eles são treinados para fornecer a próxima melhor resposta de conversação a uma consulta. A quantidade de dados que precisam ser gerenciados e governados está crescendo exponencialmente e, com o início da IA generativa, a geração de novos dados não estruturados está impactando significativamente a como os dados são registrados, descobertos, protegidos, monitorados, auditados e principalmente terem sua veracidade confirmada.

Governança e gestão dos ativos de IA

O Microsoft Purview é o conjunto de soluções de segurança de dados da Microsoft que fornece um único local para descobrir, proteger e gerenciar dados em todo o ambiente corporativo para privacidade de dados, conformidade regulatória e segurança cibernética. Esta ferramenta permite que os usuários descubram, protejam e monitorem prompts e respostas, usando dados de IA generativa em ferramentas internas e externas.

Essas soluções são essenciais para que a IA opere de maneira gerenciada e controlada, mas também são relevantes para as empresas que estão adotando rapidamente a tecnologia sem os devidos controles de uso, compartilhamento e exportação de dados. A Microsoft anunciou recentemente o Microsoft AI Hub, que aproveita os recursos do MS Purview para identificar, proteger e gerenciar o uso de IA de uma organização em um único dashboard de indicadores.

Entre os principais recursos do MS Purview AI Hub estão a capacidade de inventariar atividades de IA generativa, incluindo o uso de dados confidenciais em uma ampla variedade de aplicativos e sites. A ferramenta permite proteger as interações do Copilot impedindo o acesso não autorizado confidencial de dados confidenciais e, mais especificamente, o Hub de IA do MS Purview pode monitorar, alertar ou até mesmo impedir que os usuários enviem informações confidenciais para sites de IA generativa. Além disso, ele também permite detectar e mitigar riscos de negócios e violações regulatórias enquanto o uso do AI Hub generativo no Purview, que permite a análise de riscos e impacto do uso de algoritmos de IA, ajuda os usuários a superarem esses desafios de e maximizar os benefícios de sua utilização nas empresas.  

O Hub de IA do Microsoft Purview e as políticas que ele monitora estejam vinculadas ao DLP, exigindo que os dispositivos sejam integrados a esta plataforma. O AI Hub disponibiliza políticas integradas que podem ser ativadas e personalizadas para definir o escopo para usuários/grupos específicos e adaptá-las aos requisitos organizacionais. As políticas internas incluem:

Os administradores e as equipes de proteção de dados também podem usar o Gerenciador de Atividades do Microsoft Purview para monitorar as interações de IA dos usuários e ser alertados quando uma regra DLP corresponder à interação de um usuário com um site de IA generativa. As principais preocupações dos líderes de segurança incluem riscos éticos, legais e regulatórios da utilização da IA.

À medida que as organizações aumentam a adoção de recursos de IA, regulamentações adicionais serão promulgadas para apoiar a utilização responsável e, ao mesmo tempo, proteger dados pessoais confidenciais. Embora o AI Act Europeu, juntamente com as estruturas com o NIST AI e a ISO 42.001, forneçam orientação para adoção, identificação e mitigação de riscos, é fundamental desenvolver uma estrutura de governança para IA que considere as implicações em seu modelo de negócios e do funcionamento de segmento de atuação.

Microsoft Purview: suporte à AI

Para assegurar a integração entre o monitoramento proativo e a necessidade de governança de IA, os novos modelos de IA Premium do Microsoft Purview Compliance Manager oferecem uma solução estratégica para gerenciar e relatar o risco de conformidade de IA, garantindo que utilização ética e legal da IA esteja alinhada com os padrões organizacionais e os regulamentos futuros. O Gerenciador de Conformidade do Microsoft Purview dá suporte à conformidade de IA por meio de quatro novos modelos de IA Premium para ajudar a avaliar, gerenciar e relatar os riscos de conformidade de IA. Esses modelos identificam as melhores práticas, monitoram as interações de IA, evitam o compartilhamento inadequado de dados confidenciais em aplicativos de IA e gerenciam políticas de retenção e exclusão para interações de IA. O Gerenciador de Conformidade inclui monitoramento em tempo real em aplicativos Multicloud e Software as a Service (SaaS), podendo ser revisado como parte de um programa completo de governança de IA.

O Copilot para Microsoft 365 permite otimizar o acesso a dados não estruturados em toda a organização, visto que a implantação e a utilização exigem acesso a dados atuais e relevantes. No entanto, a maioria das organizações têm dificuldades em evitar a proliferação, o gerenciamento e a proteção de dados. À medida que as organizações avançam para adotar a IA, o foco crítico deve ser aplicado para garantir um forte gerenciamento de dados em toda a empresa. Isso inclui a remoção de dados obsoletos e desatualizados, a proteção de dados críticos e confidenciais e a identificação proativa do uso inadequado.

Os recursos de Gerenciamento de Registros e Ciclo de Vida de Dados do Microsoft Purview permitem que as organizações descartem de forma defensável os dados que não são mais necessários. Ao aproveitar políticas e rótulos nessas ferramentas, as organizações podem permanecer em conformidade com os regulamentos de retenção de dados, reduzir sua superfície de ataque descartando dados que não são mais necessários e permitir que o Copilot para Microsoft 365 acesse as informações mais relevantes e atualizadas para fornecer as respostas mais relevantes e úteis.

O Microsoft Purview eDiscovery Premium permite que as equipes jurídicas e de descoberta eletrônica descubram quais tipos de informações os usuários estão inserindo nos prompts do Copilot para Microsoft 365 e quais tipos de respostas estão recebendo. Esse é um recurso essencial ao investigar o possível uso mal-intencionado de IA em organizações ou realizar avaliações de conformidade sobre como as informações estão sendo compartilhadas por meio da IA generativa.

O AI Hub no Purview, juntamente com os recursos de proteção de dados do Purview, fornece uma nova maneira de gerenciar ativos de IA com responsabilidade, com foco na segurança e na conformidade.

Baseado no artigo original escrito por: Patrick Anderson, MD Protiviti; Patrick Anderson, MD Security & Privacy; Antonio Maio, MD Microsoft.

A adoção da Inteligência Artificial (IA) nas organizações está em franco crescimento, impulsionada pelas promessas de aumento de eficiência, melhoria na tomada de decisão e inovação nos serviços oferecidos. No entanto, essa tecnologia também traz consigo uma série de riscos que precisam ser identificados e gerenciados adequadamente para garantir que os benefícios sejam plenamente aproveitados enquanto os potenciais impactos negativos são mitigados. A Governança de IA surge como uma resposta direta a essa necessidade. Este artigo tem como objetivo explorar de maneira detalhada a avaliação de riscos associados ao uso da IA nas organizações, fornecendo uma estrutura compreensiva para a identificação e categorização desses riscos.

O que é e para que serve a governança de IA?

A governança de IA é um conjunto de práticas, políticas e processos destinados a garantir que os sistemas de inteligência artificial sejam desenvolvidos, implementados e gerenciados de forma ética, transparente e alinhada aos objetivos estratégicos da organização. Esse framework permite que empresas utilizem soluções de IA de maneira responsável, equilibrando inovação com a mitigação de riscos associados, como vieses nos algoritmos, uso inadequado de dados ou impactos sociais e ambientais.

Ao implementar a governança de IA, as organizações conseguem maximizar o valor dessas tecnologias enquanto gerenciam possíveis consequências negativas. Ela promove a conformidade regulatória, melhora a confiança dos stakeholders e assegura que a IA opere de maneira confiável e previsível. Além disso, serve como um pilar para integrar a inteligência artificial às práticas de compliance e segurança cibernética, fortalecendo o desempenho organizacional e a reputação corporativa no mercado.

Governança de IA nas organizações: identificação e avaliação de riscos

A primeira etapa na avaliação de riscos é a identificação clara do propósito das iniciativas de IA e dos modelos que serão utilizados. A IA pode ser aplicada de diversas formas, tanto internamente, para melhorar processos organizacionais, quanto externamente, para melhorar a interação com clientes e partes interessadas.

Uso Interno da Organização

Uso Externo para Clientes e Partes Interessadas

Identificação dos Objetivos e Contexto de Uso para os Modelos de IA

Para uma avaliação eficaz de riscos, é fundamental entender o contexto de uso e os objetivos específicos dos modelos de IA implementados. A criação e operação da IA envolvem várias etapas críticas, incluindo:

As etapas constituem a cadeia de valor da criação e operação da IA. Endereçar os riscos nas etapas da cadeia é um facilitador para definir os responsáveis por atuar no tratamento deles.

Identificação dos Riscos

A identificação dos riscos envolve a análise de várias categorias de riscos e eventos específicos que podem impactar a organização:

Categorias de Risco

As categorias de risco referem-se aos conjuntos temáticos de risco que englobam diferentes tipos de ameaças e vulnerabilidades relacionadas ao uso de IA nas organizações. Essas categorias ajudam a estruturar e organizar os riscos de maneira a facilitar a sua identificação, avaliação e gerenciamento. No contexto de IA, as principais categorias de risco incluem:

Categorias de risco

As categorias de risco são agrupamentos de eventos de risco que refletem grandes áreas de preocupação dentro das categorias de risco. Eles representam os temas mais amplos e críticos que podem impactar a organização de forma significativa e facilitam a definição dos donos dos riscos, ou seja, aqueles que devem se apropriar do risco e tomar ações para trata-lo. No contexto de IA, as principais categorias incluem:

Eventos de Risco

Os eventos de risco são a materialização dos riscos identificados dentro das categorias de risco. Eles são incidentes específicos que podem ocorrer como resultado dos riscos e que podem ter impactos significativos na organização. Exemplos de eventos de risco incluem:

Após a identificação dos riscos, é crucial quantificar seus impactos potenciais. Isso inclui:

Governança de IA: indispensável para as organizações

A avaliação de riscos do uso de IA nas organizações é um processo complexo, mas essencial para garantir que os benefícios dessa tecnologia sejam plenamente realizados, minimizando os impactos negativos. A Governança de IA é uma aliada indispensável para garantir o uso ético e estratégico desse momento crucial de transição tecnológica na sociedade. Ao seguir uma abordagem estruturada para identificar, categorizar e mitigar riscos, as organizações podem navegar com segurança na era da IA, promovendo inovação e eficiência de forma responsável e sustentável.