O Apple Card – uma joint venture entre a Apple e a Goldman Sachs – foi alvo de uma investigação por parte do Departamento de Serviços Financeiros do Estado de Nova York em 2019 após vários relatos de discriminação de género por parte do algoritmo por detrás da definição dos limites de crédito associados ao cartão. Um dos casos que se tornou mais notório foi o de Steve Wozniak (sim, esse mesmo, o cofundador da Apple), a quem o algoritmo atribuiu um limite de crédito 10 vezes superior ao da sua esposa, apesar de o casal partilhar as contas bancárias e de terem todos os bens em regime comum.

Em 2016, a seguradora inglesa Admiral Group utilizou um sistema baseado em inteligência artificial (IA), chamado “Firstcarquote” para recolha de dados pessoais relativos à personalidade e comportamentos através da página de Facebook dos seus clientes para ajustar as taxas de cobrança do seguro, tendo em conta fatores como o uso de maiúsculas (indicador de agressividade) e a extensão dos posts (indicador do nível de atenção).

As considerações éticas do uso de sistemas de IA é um tema há muito debatido, dando azo a conversas que nos fazem navegar entre os extremos do seu potencial. De um lado, o fascínio pelo avanço tecnológico e o seu potencial para nos ajudar a resolver grandes desafios económicos, sociais e ambientais. Do outro lado, os riscos e impactos negativos para os cidadãos em matéria de segurança e de direitos fundamentais.

No passado dia 8 de dezembro de 2023, o Parlamento Europeu, a Comissão Europeia e o Conselho Europeu chegaram a acordo sobre os termos e componentes fundamentais do Regulamento Inteligência Artificial (em inglês, ‘EU AI Act’ ou simplesmente ‘AI Act’). Trata-se do primeiro instrumento legislativo horizontal, que visa estabelecer regras harmonizadas para o desenvolvimento, implementação e utilização de sistemas de inteligência artificial na União Europeia. O AI Act marca um avanço histórico no panorama regulamentar desta temática, com o potencial de estabelecer um padrão global (como a GDPR fez no contexto dos dados pessoais).

Apesar de se tratar de uma legislação da União Europeia, a proposta em causa abrange todos os sistemas de IA que impactem as pessoas dos estados-membros, independentemente do país origem onde o mesmo terá sido desenvolvido. A definição do que constitui um sistema de IA é ampla e segue a definição da OCDE. As obrigações regulamentares previstas são significativas, e distribuídas entre os vários constituintes da cadeia de valor: fornecedores, utilizadores, importadores, distribuidores e terceiros. Os requisitos regulamentares seguem um modelo baseado no risco, que é determinado pelo potencial impacto do caso de uso e não pela tecnologia em si. Estão previstas proibições, sistemas classificados de alto-risco (categoria sob a qual incide a maior parte das exigências regulamentares) e de risco mínimo (exigências de transparência).

No contexto dos serviços financeiros, o uso de sistemas de IA na avaliação do risco para atribuição de crédito e de seguros de saúde e de vida, são mencionados de forma explícita na categoria de risco alto. Para esta categoria, o AI Act exige o estabelecimento de um sistema de gestão do risco apropriado, um modelo de governance efetivo dos dados, documentação técnica e arquivo dos registos gerados, mecanismos de supervisão humana e de transparência para com os utilizadores, medidas de cibersegurança, o registo do sistema nas bases de dados da EU, uma avaliação de conformidade prévia e obrigações de monitorização.

A entrada em vigor do AI Act é esperada entre o segundo e o terceiro trimestre de 2024, sendo que os prazos para a sua aplicação serão faseados e com base no risco, estendendo-se até 2026. As sanções por incumprimento são significativas e podem chegar aos 7% do volume de negócios anual a nível global. Pelo que as organizações devem começar a preparar-se, nomeadamente através da realização de um levantamento de todos os sistemas de IA âmbito do AI Act; categorização desses sistemas de acordo com a classificação de risco da regulamentação; avaliação da posição que a organização ocupa na cadeia de valor do sistema de IA em causa; consideração de riscos adicionais e oportunidades (e.g. acesso a sandboxes); e do desenvolvimento e execução de um plano com vista ao compliance para quando a regulamentação entrar em vigor.