Algoritmos de machine learning são amplamente usados nas empresas, mas eles podem reforçar decisões discriminatórias. Saiba o que é discriminação algorítmica.
O movimento #BlackLivesMatter trouxe mais uma vez à superfície a questão do racismo institucional, que é a prática do racismo pelas instituições públicas ou privadas que de forma indireta promovem a exclusão ou o preconceito. E, infelizmente, isso pode estar sendo reforçado pelo machine learning.
Não devemos confundir racismo com preconceito, já que o racismo é uma das muitas faces do preconceito. Assim, é importante lembrarmos que o preconceito abarca uma miríade de discriminações que vão além da raça e envolvem gênero, local de origem, orientação sexual, classe social etc.
Discriminação institucional e machine learning
Poderíamos pensar em uma discriminação institucional? Aquela que faz com que em nossas empresas, segundo dados do IBGE, mulheres recebam cerca de 20% menos que os homens em condições similares ou aceitemos ou não clientes por critérios de região ou profissão?
Hoje, uma das áreas mais populares da Inteligência Artificial no mercado, é o machine learning ou aprendizado de máquina. Ela e se caracteriza por um programa de computador que aprende com a experiência, assimilando padrões entre dados.
Como surge discriminação algorítmica via Machine Learning?
E, de onde vem essa experiência que o machine learning vivencia? Na maioria das vezes dos dados históricos de nossas organizações. E se nossos dados forem racistas, misóginos ou discriminatórios em relação à renda ou residência? Bom, nesse momento entramos na seara dos algoritmos com viés, ou seja, que possuem uma distorção sistemática.
Nesse momento você pode se perguntar o porquê de seus dados poderem ser racistas, misógino ou discriminatórios e aqui temos alguns exemplos para ilustrar:
O Compas foi um software amplamente utilizado em tribunais americanos para aplicação de sentenças. Um estudo independente realizado pela ONG Propublica revelou que negros tinham o dobro de chances de serem classificados como possíveis reincidentes de crimes violentos que os brancos.
Da mesma forma, em 2014 a Amazon utilizou um algoritmo de seleção de currículos que priorizava candidatos do sexo masculino em detrimento do feminino ou ainda birôs de crédito que tem utilizado dados de CEP ou profissão como fonte de dados para concessão de crédito.
>>> Leia também: O impacto do comportamento nas redes sociais nahttps://www.protiviti.com.br/compliance/o-impacto-do-comportamento-nas-redes-sociais-na-empresa/ empresa
Normalmente, esses problemas decorrem da construção de modelos sem conhecimento e sem a correção de vieses ocultos, o que pode levar a resultados distorcidos, tendenciosos ou mesmo errados. Eles acabam por reforçar estigmas sociais, econômicos e raciais e institucionalizando-os com o requinte de parecerem resultados científicos, já que são baseados em modelos matemáticos.
Cabe ressaltar que o viés em machine learning não advém apenas de dados históricos discriminatórios e vamos falar sobre os mais comuns.
Viés de amostragem
Ocorre quando a amostra analisada pelo algoritmo é incompleta ou não representa o ambiente no qual ele será executado. Por exemplo, um artigo do MIT demonstrou falhas em mecanismos de reconhecimento facial, onde a proporção entre imagens de homens chega a ser 75% e de brancos, 80%, implicando diversos erros para o reconhecimento de mulheres e outras etnias.
Viés de preconceito
Ocorre quando modelos são treinados por dados influenciados por estereótipos ou fatores culturais. Por exemplo, modelos de reconhecimento de imagem treinados com homens em escritórios e mulheres cozinhando, modelos de concessão de crédito que penalizam profissões mais operacionais ou periferias.
Nas periferias há uma concentração de negros, tecnologias que restrinjam a comercialização ou extensão de serviços baseados em CEP podem perpetuar a exclusão social dessas pessoas.
Outro exemplo são as ferramentas de seleção de currículos treinadas com maior proporção de homens que de mulheres, levando o algoritmo a reforçar a priorização de características masculinas.
Viés do observador
Ocorre devido à tendência do Profissional de Dados observar o que ele espera encontrar. Ele traz para a análise de dados eventuais preconceitos que carrega consigo.
Por exemplo, um Profissional de Dados enviesado, pode não ver problemas que os dados que ele está analisando sempre associem homens com escritórios e mulheres com cozinhas, já que ele compartilha dessa visão de mundo e sociedade. Logo esse é o resultado que ele espera encontrar nos dados.
Detectar e corrigir vieses nos dados não é fácil, embora seja crítico. Não há uma bala de prata para todos os casos. Porém, um começo promissor reside em conhecer os dados, a sua qualidade e proporcionalidade amostral, pensamento crítico sobre fatores históricos e sociais que podem influenciar os dados. O uso de diversidade nos times de desenvolvimento traz visões e experiências diferentes aos projetos, e são um bom começo para o bom uso dos algoritmos de machine learning.
Gostou do conteúdo sobre machine learning e algorítimo discriminatório? Você tem mais alguma informação para compartilhar conosco e enriquecer a discussão? Então comente o post.
*Marcelo Costa é Analista de Dados na Protiviti, empresa especializada em soluções para gestão de riscos, compliance, auditoria interna, investigação, proteção e privacidade de dados.
*Rodrigo Kramper é Líder da prática de Advanced Data and Analytics Solutions na Protiviti, empresa especializada em soluções para gestão de riscos, compliance, auditoria interna, investigação, proteção e privacidade de dados.
