O uso de IA em escola dos EUA para monitorar o comportamento dos alunos tem gerado polêmica. Uma escola em Kansas implementou um sistema de segurança digital que utiliza inteligência artificial para analisar e-mails e documentos, buscando sinais de comportamento de risco, como uso de drogas ou ameaças de violência. No entanto, a ferramenta tem sido acusada de censura e invasão de privacidade, após classificar trabalhos de arte como pornografia e apagar e-mails.
Adicione ao Google NotíciasNeste artigo
Como funciona o sistema de vigilância por IA nas escolas?
O sistema, chamado Gaggle Safety Management, utiliza inteligência artificial para analisar documentos e e-mails em busca de sinais de comportamento inseguro. A ferramenta pode revisar e-mails, documentos, links e até agendas em contas Google ou Microsoft dos alunos. O objetivo é identificar "sinais de automutilação, depressão, pensamentos suicidas, abuso de substâncias, cyberbullying, ameaças de violência ou outras situações prejudiciais", segundo o distrito escolar.
Profissionais de segurança revisam o material sinalizado antes de enviar relatórios às escolas. Em casos de risco, as autoridades escolares são notificadas para que possam intervir e oferecer apoio ao aluno.
Quais os problemas que o sistema de IA já causou?
Alunos relatam que a ferramenta vai muito além do monitoramento de comportamentos de risco. Desde que entrou em operação, o Gaggle apagou parte do portfólio de uma estudante de artes – uma foto de meninas usando regatas – por confundir com pornografia infantil. Outro aluno foi interrogado por escrever que iria "morrer" porque fez um teste físico usando Crocs.
Suzana Kennedy, de 19 anos, pediu por e-mail um relatório de materiais sinalizados pelo Gaggle, mas o sistema bloqueou a própria resposta da escola, impedindo-a de receber os documentos solicitados. Estudantes temem ser denunciados ou perder trabalhos escolares por palavras mal interpretadas.
O sistema de IA protege ou inibe os alunos?
Enquanto as autoridades escolares defendem o Gaggle como uma ferramenta vital para reforçar a segurança e permitir a intervenção em casos de risco de suicídio, estudantes e ex-alunos criticam a invasão de privacidade e o efeito inibidor do sistema. Eles alegam que o monitoramento constante gera um medo generalizado de serem denunciados ou de terem seus trabalhos escolares prejudicados por palavras mal interpretadas.
Em agosto, ex-estudantes processaram o distrito escolar para suspender o uso do Gaggle, alegando que a vigilância é inconstitucional e falha em proteger os alunos. Segundo a ação, o sistema inibe os alunos, que temem ser denunciados ou perder trabalhos escolares por palavras mal interpretadas.
Quais os riscos de segurança do Gaggle?
Uma investigação do Seattle Times e da Associated Press revelou riscos de segurança no uso do Gaggle. Jornalistas conseguiram acessar temporariamente capturas de tela de materiais estudantis sem senha. Além disso, alunos LGBTQ foram potencialmente expostos a familiares e funcionários quando o sistema detectou mensagens sobre identidade sexual ou saúde mental.
Esses incidentes levantam preocupações sobre a proteção dos dados dos alunos e a possibilidade de discriminação com base em sua orientação sexual ou identidade de gênero.
Perguntas Frequentes sobre IA em escola dos EUA
Por que escolas estão usando IA para monitorar alunos?
Escolas estão utilizando IA para monitorar alunos com o objetivo de identificar e prevenir comportamentos de risco, como automutilação, depressão, pensamentos suicidas, abuso de substâncias, cyberbullying e ameaças de violência.
Quais são as críticas ao uso de IA para monitorar alunos?
As principais críticas incluem a invasão de privacidade, a censura de conteúdos legítimos, o efeito inibidor sobre a liberdade de expressão dos alunos e os riscos de segurança relacionados à proteção dos dados dos estudantes.
Via Folha de S.Paulo




