Tradução adaptada da fala de Carlos A. Afonso na sessão sobre Fóruns Nacionais e Regionais de Governança (NRIs), no Fórum de Governança da Internet da ONU, Genebra, dezembro de 2017. Original em inglês em PDF.
As tecnologias digitais chegaram a novos patamares em sua complexidade, incluindo a diversidade e complexidade de sistemas e aplicações em rede.
Enquanto falamos, mineradores de criptomoedas podem ter instalado um script no navegador de seu computador ou celular que uma vez aberto ajuda a prospectar criptomoedas para um desconhecido. Enquanto falamos, há notícias que um banco de um certo país esgotou o estoque de placas de vídeo de alto desempenho no mercado - peças essenciais para prospectar criptomoedas.
Enquanto falamos, algoritmos são usados para decidir contratações e demissões, liberar ou manter pessoas na prisão, aprovar ou recusar crédito (ou oferecer crédito em condições que variam de acordo com o perfil analisado pelo algoritmo). Segundo estimativas, há a possibilidade que nos próximos 10 a 20 anos cerca de metade dos empregos atuais em países desenvolvidos sejam ameaçados por algoritmos, e 40% das 500 principais empresas podem desaparecer dentro de uma década. [1] Estimativas indicam que entre 2020 e 2060 computadores poderão ultrapassar as habilidades humanas em quase todas as áreas. Pessoas do calibre de Elon Musk, Bill Gates, Stephen Hawking e Steve Wozniak advertem que esta rede de "super inteligência" mecatrônica é uma séria ameaça para a humanidade, possivelmente ainda mais perigosa do que as armas nucleares. [2]
E, enquanto falamos, a "Internet das Coisas", conhecida como "IoT", um dos novos tópicos de conversa da moda e que carreia polpudos contratos de governos para supostos "especialistas", já está presente em nossas casas e bolsos há muito tempo, e centenas de milhões de dispositivos foram implantados sem proteções de segurança adequadas. Na maioria dos casos, ninguém sabe quem realmente construiu o dispositivo ou quem é responsável pelo software embarcado (firmware) executado nele - não há dúvida que nestes casos nunca haverá uma atualização de firmware. No momento, grandes incidentes de sequestro de sistemas por algoritmos ("ransomware") estão ocorrendo usando dispositivos IoT como meio de ataque.
Como esses resultados e presenças têm impacto na vida real, serão automaticamente aceitos pelos tomadores de decisão como válidos ou verdadeiros? Alguns analistas forneceram abundantes exemplos funcionais dos perigos de confiar na tomada de decisão humana via algoritmos. A matemática Cathy O'Neil vem apontando precisamente para esses perigos em várias aplicações típicas desses sistemas. [3]
Hoje, os algoritmos de redes sociais ou transações sabem mais sobre nós do que nossas famílias ou nós mesmos. E eles podem até mesmo oferecer recomendações para decisões que parecem boas, mesmo que não sejam nossas decisões. Uma situação em que estamos cada vez mais controlados remotamente - quanto mais estes sistemas conhecem sobre nós, mais nossas ações podem ser predeterminadas por outros. É algo como passar da programação de computadores para a programação de pessoas.
São os algoritmos de destruição em massa, ou armas matemáticas de destruição, na expressão precisa de Cathy O'Neil.
O que deveria preocupar-nos ainda mais (como se não bastassem os sustos já descritos) é que essa tecno-estrutura não é o privilégio de super-ricos manipulando governos, ou de sistemas estatais de monitoramento e combate ao crime, mas também está ao alcance de hackers que invadem e extraem os dados que eles querem do Pentágono, da Casa Branca, da Equifax, da NSA, ou sequestram toda uma rede (como no caso do NHS da Inglaterra capturado por "ransomware"), e se você sabe que essas vulnerabilidades acontecem nos EUA, o que esperar de outros países?
Nós estamos numa encruzilhada. Se os algoritmos cada vez mais poderosos são controlados por um grupo restrito de tomadores de decisão, reduzindo a nossa autodeterminação ou a opinião equilibrada do senso comum humano, dizem pesquisadores, vamos recuar sobre o que já chamam de uma espécie de feudalismo 2.0.
E aqui chego a um tópico que gostaria que fosse considerado nesta sessão: o desafio de preparar o serviço público, servidores públicos, o setor público, os decisores políticos para entender melhor o que está acontecendo. Vemos nas metas detalhadas para cada um dos 17 Objetivos de Desenvolvimento Sustentável (SDGs) da ONU que os 15 deles que mencionam ou estão relacionados ao desenvolvimento de capacidades parecem evitar essa questão específica de formação do setor público. Em várias frentes, aparecem novos projetos de lei (dezenas deles) tentando regular, modificar, reprimir instâncias de tecnologia para as quais os proponentes não têm idéia do que estão falando.
Vemos um exemplo flagrante disso no debate sobre a neutralidade da rede nos EUA. Vemos muitos exemplos de projetos de lei que propõem bloqueios, censura, controle de conteúdo etc, que geralmente envolvem completa falta de conhecimento do funcionamento dos sistemas em rede. E como resultado os políticos podem ser manipulados por poderosos interesses econômicos para inserir leis tendenciosas que favoreçam seus negócios.
Como criar mecanismos de desenvolvimento de capacidades que levem a uma melhor elaboração de leis e a uma tomada de decisão mais informada pelo setor público (um problema para qualquer campo, mas particularmente agudo quando envolve a complexidade dos sistemas em rede de hoje e de amanhã)?
[1] https://www.marketwatch.com/story/ciscos-chambers-says-at-imf-that-40-of-businesses-will-disappear-in-a-decade-2016-10-05
[2] http://observer.com/2015/08/stephen-hawking-elon-musk-and-bill-gates-warn-about-artificial-intelligence
[3] Cathy O'Neil, Weapons of Math Destruction, Nova York: Crown, 2016.