Marcela Mattiuzzo

07 de Abril de 2018

Sistemas automatizados não podem ser interrogados ou prestar contas de suas decisões. Mas precisamos pensar formas de responsabilizá-los

Em 11 de janeiro de 2018, a cidade de Nova York foi a primeira de que se tem notícia a criar uma norma específica para uma questão controversa: a regulação dos sistemas autônomos de tomada de decisão. O recente caso do carro autônomo da Uber que, em março, ao andar pelas ruas do Arizona sob o comando de um algoritmo, atropelou e matou uma pedestre, ressalta a importância da discussão e os desafios que esse tipo de solução tecnológica apresenta. Mas afinal, por que a nova regra é relevante e qual seu potencial impacto no Brasil? Para responder a essa pergunta, precisamos discutir brevemente os sistemas autônomos, seu processo de tomada de decisão e as questões regulatórias que trazem à tona.

Os algoritmos nada mais são que uma sequência de instruções que determina como algo será feito. Hoje, eles controlam e participam de um sem número de decisões, que vão desde a alocação de policiamento para uma região, até a determinação de quais anúncios veremos nas páginas da internet. Ainda assim, os sistemas são descritos como “caixas pretas” em muitas situações. A sociedade não sabe ao certo como eles funcionam e nem de que forma escolhem que uma pessoa veja anúncios de livros de biologia e outra sobre remédios, por exemplo. O debate que levou à norma editada em Nova York diz respeito à preocupação de juristas, reguladores, engenheiros e cientistas de dados sobre a opacidade desses algoritmos.

Mesmo que admitamos que os algoritmos são capazes de encontrar correlações suficientemente fortes que suplantem a busca por causalidades, eles ainda não conseguirão cumprir um papel essencial, que é pedra fundamental de toda a ideia de responsabilização em um Estado Democrático de Direito: argumentar e, com isso, exercer senso de justiça

Decisões que antes eram tomadas por seres humanos – que se não as fundamentavam poderiam ser compelidos a fornecerem explicações – são hoje de responsabilidade de programas automatizados. Diferentemente de pessoas, que conseguem articular as razões pelas quais agiram de uma determinada forma, algoritmos não possuem essa capacidade. Eles não podem ser interrogados ou prestar contas de suas decisões, e mesmo quando são passíveis de “explicarem” os passos que percorreram para chegar em dado resultado, esse processo decisório é operado por meio de regras de correlação e probabilidade, não de causa e efeito.

Mesmo que admitamos que os algoritmos são capazes de encontrar correlações suficientemente fortes que suplantem a busca por causalidades, eles ainda não conseguirão cumprir um papel essencial, que é pedra fundamental de toda a ideia de responsabilização em um Estado Democrático de Direito: argumentar e, com isso, exercer senso de justiça. Se alguém comete um crime e mata alguém, a lei brasileira diz que essa pessoa passará de 6 a 20 anos na cadeia. Mas a própria lei prevê um sem número de circunstâncias atenuantes que poderão fazer com que essa pessoa sequer seja punida pela conduta, como a legítima defesa. O que quero dizer é que até hoje – e provavelmente por bastante tempo – algoritmos não serão capazes de fazer juízos subjetivos de valor. Eles não conseguirão identificar nuances, nem justificar ações e reações.

Se decisões importantes são tomadas tendo por base esse tipo de mecanismo, como garantir que haverá responsabilização adequada em caso de erro? Mais especificamente, como garantir que não haverá discriminação de determinados grupos pelo algoritmo em tomadas de decisão relevantes, que afetam sobremaneira a vida dessas pessoas? É isso que a Instrução nº 1696-A de Nova York busca endereçar.

Ela cria uma força-tarefa para a análise de algoritmos utilizados pela administração local, focada em elaborar um relatório, a ser apresentado no final de 2019. Esse relatório vai debater:

(i) critérios de identificação de algoritmos que precisam ser submetidos a procedimentos específicos,

(ii) procedimentos para que os nova iorquinos possam requisitar explicações sobre como uma decisão foi tomada por um algoritmo

(iii) procedimentos a serem implementados para verificar se o algoritmo em questão gera resultados discriminatórios,

(iv) mecanismos de reparação de danos e solução de problemas advindos de possíveis resultados discriminatórios,

(v) mecanismos de publicização de como a tomada de decisão pelo algoritmo acontece.

Desafios da nova norma incluem conseguir a cooperação das empresas proprietárias dos algoritmos, já que para cumprir seu mandato e conseguir produzir um relatório útil e completo, será necessário algum nível de acesso ao código-fonte do sistema – e há diversos argumentos legítimos que tais empresas podem utilizar para não tornar públicas suas ferramentas, como alegações de propriedade intelectual e segredo de negócio.

Outra questão diz respeito à “falta de dentes” da força-tarefa. Qual é o mandato desse grupo para exigir das empresas modificações no algoritmo? Como a prefeitura agirá frente a debates sobre a propriedade dos dados – seria a propriedade da empresa, da cidade ou dos cidadãos? Haverá algum tipo de punição às empresas ou às pessoas responsáveis pelos algoritmos que, na visão do poder público, de fato atinjam resultados discriminatórios?

Nova York deu o primeiro passo, mas certamente não o último. O tema crescerá no Brasil e no mundo e tanto o governo quanto a iniciativa privada terão de criar competências para lidar com o assunto. Interações entre juristas, cientistas sociais e programadores serão essenciais para o desenho de soluções viáveis que resolvam os problemas, sem criar um ambiente inviável de negócios, e igualmente atendendo ao interesse público e respeitando os direitos fundamentais. Por aqui, vale observar se as discussões sobre proteção de dados pessoais em curso no Congresso Nacional serão influenciadas por esses novos debates.

Marcela Mattiuzzo é sócia no escritório Vinicius Marques de Carvalho Advogados, ex-chefe de gabinete da presidência do Cade (Conselho Administrativo de Defesa Econômica) e mestranda na USP.