• Fernando Giannini

Quando a tecnologia preditiva se torna antiética?

O aprendizado de máquina pode determinar muito sobre você, incluindo algumas de suas informações mais confidenciais. Por exemplo, pode prever sua orientação sexual, se você está grávida, se vai largar o emprego e se é provável que morra logo. Os pesquisadores podem prever a raça com base em curtidas no Facebook , e as autoridades chinesas usam o reconhecimento facial para identificar e rastrear os uigures , um grupo étnico minoritário.

Agora, as máquinas realmente “sabem” essas coisas sobre você ou estão apenas fazendo suposições informadas? E, se eles estão fazendo uma inferência sobre você, assim como qualquer ser humano que você conhece pode fazer, há realmente algo de errado em serem tão inteligente?


Vejamos alguns casos:

Nos Estados Unidos, a história do Target predizendo quem está grávida é provavelmente o exemplo mais famoso de um algoritmo que faz inferências confidenciais sobre as pessoas. Em 2012, uma história do New York Times sobre como as empresas podem alavancar seus dados incluiu uma piada sobre um pai descobrindo que sua filha adolescente estava grávida porque a Target lhe enviou cupons para itens de bebê em um aparente ato de premonição.


Embora a história sobre o adolescente possa ser duvidosa - mesmo se tivesse acontecido, provavelmente teria sido coincidência, e não análise preditiva responsável pelos cupons, de acordo com o processo da Target, detalhado pela história do The New York Times - há uma realidade e um risco para a privacidade à luz deste projeto preditivo. Afinal, se o departamento de marketing de uma empresa prevê quem está grávida, eles verificaram dados clinicamente sensíveis e não voluntários que apenas a equipe de saúde é normalmente treinada para manusear e proteger adequadamente.


O acesso mal gerenciado a esse tipo de informação pode ter enormes implicações na vida de alguém. Como um cidadão preocupado postou online , imagine que o "trabalho de uma mulher grávida" está precário, e [sua] deficiência estatal ainda não foi configurada corretamente ... a divulgação pode arriscar o custo de varejo de um parto (aproximadamente US $ 20.000), pagamentos por invalidez durante tempo livre (aproximadamente $ 10.000 a $ 50.000) e até mesmo seu trabalho. ”


Este não é um caso de manuseio incorreto, vazamento ou roubo de dados. Em vez disso, é a geração de novos dados - a descoberta indireta de verdades não voluntárias sobre as pessoas. As organizações podem prever esses insights poderosos a partir de dados inócuos existentes, como se os criassem do nada.


Então, ironicamente, estamos enfrentando uma desvantagem quando os modelos preditivos têm um desempenho muito bom? Sabemos que há um custo quando os modelos prevêem incorretamente, mas também há um custo quando eles prevêem corretamente?


Mesmo que o modelo não seja altamente preciso, por si só, ele ainda pode ser confiável em suas previsões para um determinado grupo de gestantes. Digamos que 2% das clientes do sexo feminino entre 18 e 40 anos estejam grávidas. Se o modelo identificar as clientes, digamos, três vezes mais probabilidade do que a média de estarem grávidas, apenas 6% das identificadas estarão realmente grávidas. Isso é um levantamento de três. Mas se você olhar para um grupo muito menor e focado, digamos que os 0,1% com maior probabilidade de estarem grávidas, você pode ter um aumento muito maior de, digamos, 46, o que tornaria as mulheres nesse grupo 92% de probabilidade de engravidar.

Nesse caso, o sistema seria capaz de revelar essas mulheres como muito prováveis ​​de estarem grávidas.


O mesmo conceito se aplica ao prever orientação sexual, raça, estado de saúde, localização e suas intenções de deixar o emprego. Mesmo que um modelo não seja altamente preciso em geral, ele ainda pode revelar com alta confiança - para um grupo limitado - coisas como orientação sexual, raça ou etnia. Isso ocorre porque, normalmente, há uma pequena porção da população para a qual é mais fácil prever. Agora, ele só pode ser capaz de prever com segurança para um grupo relativamente pequeno, mas mesmo apenas 0,1% do topo de uma população de um milhão significaria que 1.000 indivíduos foram identificados com segurança.


É fácil pensar nos motivos pelos quais as pessoas não gostariam que alguém soubesse dessas coisas. Em 2013, a Hewlett-Packard estava marcando previsivelmente seus mais de 300.000 funcionários com a probabilidade de eles pedirem demissão - a HP chamou isso de pontuação de risco de voo e foi entregue aos gerentes. Se você está planejando ir embora, seu chefe provavelmente será a última pessoa que você gostaria de saber antes do anuncio oficial.


Outro exemplo, as tecnologias de reconhecimento facial podem servir como uma forma de rastrear a localização, diminuindo a liberdade fundamental de se mover sem divulgação, uma vez que, por exemplo, câmeras de segurança posicionadas publicamente podem identificar pessoas em horários e lugares específicos. Eu certamente não condeno totalmente o reconhecimento facial, mas sei que os CEOs da Microsoft e do Google o criticaram por esse motivo.


Em outro exemplo, uma empresa de consultoria estava modelando a perda de funcionários de um departamento de RH e percebeu que eles poderiam realmente modelar as mortes de funcionários, já que essa é uma maneira de você perder um funcionário. O pessoal de RH respondeu com: “Não nos mostre!” Eles não queriam a responsabilidade de saber quais funcionários corriam o risco de morrer em breve.


A pesquisa mostrou que os modelos preditivos também podem discernir outros atributos pessoais - como raça e etnia - com base, por exemplo, em curtidas no Facebook. Uma preocupação aqui é a maneira como os profissionais de marketing podem fazer uso desses tipos de previsões. Como disse Latanya Sweeney , professora de governança e tecnologia de Harvard : “No final das contas, a publicidade online é uma questão de discriminação. Você não quer que mães com recém-nascidos recebam anúncios de varas de pescar e não quer que pescadores recebam anúncios de fraldas.


A questão é quando essa discriminação ultrapassa a linha de direcionar clientes para impactar negativamente um grupo inteiro de pessoas? ” Na verdade, um estudo por Sweeney mostrou que as pesquisas do Google por nomes “sombrios” tinham 25% mais probabilidade de mostrar um anúncio sugerindo que a pessoa tinha um registro de prisão, mesmo que o anunciante não tivesse ninguém com esse nome em seu banco de dados de registros de prisão.


“Se você fizer uma tecnologia que pode classificar as pessoas por uma etnia, alguém a usará para reprimir essa etnia”, diz Clare Garvie , associada sênior do Centro de Privacidade e Tecnologia da Georgetown Law.


O que nos leva à China, onde o governo aplica o reconhecimento facial para identificar e rastrear membros dos uigures, um grupo étnico sistematicamente oprimido pelo governo. Este é o primeiro caso conhecido de um governo usando aprendizado de máquina para traçar um perfil por etnia. Essa sinalização de indivíduos por grupo étnico é projetada especificamente para ser usada como um fator em decisões discriminatórias - isto é, decisões baseadas, pelo menos em parte, em uma classe protegida.


Nesse caso, os membros desse grupo, uma vez identificados, serão tratados ou considerados de forma diferente com base em sua etnia. Uma start-up chinesa avaliada em mais de US $ 1 bilhão disse que seu software pode reconhecer "grupos de pessoas sensíveis". Seu site dizia: “Se originalmente um uigures morasse em uma vizinhança, e em 20 dias seis uigures aparecerem, ele imediatamente enviaria alarmes” para as autoridades.


Implementar o tratamento diferenciado de um grupo ético baseado em tecnologia preditiva eleva os riscos a um nível totalmente novo. Jonathan Frankle, pesquisador de aprendizado profundo do MIT, alerta que esse potencial se estende além da China . “Não acho que seja exagero tratar isso como uma ameaça existencial à democracia. Uma vez que um país adota um modelo neste modo fortemente autoritário, ele está usando dados para fazer cumprir o pensamento e as regras de uma forma muito mais arraigada ... Nessa medida, esta é uma crise urgente na qual estamos lentamente nos transformando em um sonâmbulo ”.


É um verdadeiro desafio definir quais objetivos preditivos perseguidos com o aprendizado de máquina são antiéticos, quanto mais quais deveriam ser regulamentados, se houver. Mas, no mínimo, é importante ficar atento para quando o aprendizado de máquina servir para fortalecer uma prática antiética preexistente e também para quando gerar dados que devem ser tratados com cuidado.


Fonte: Harvard Business

Artigo original: https://bityli.com/ACHGV

Autor: Eric Siegel , Ph.D., é um consultor líder e ex-professor da Columbia University que torna o aprendizado de máquina compreensível e cativante. Ele é o fundador da série de conferências Predictive Analytics World e Deep Learning World , e é o instrutor da especialização Coursera Machine Learning for Everyone . Ele é um palestrante popular comissionado para mais de 100 palestras e editor executivo do The Machine Learning Times . Ele foi o autor do best-seller Predictive Analytics: O poder de prever quem vai clicar, comprar, mentir ou morrer .


Receba as notícias sobre educação e tecnologia 

Fernando Giannini

 

E-mail:

fernando.giannini@streamer.com.br

logo-3.png

© 2020 por Fernando Giannini