Reddit fecha o cerco contra coleta automatizada de dados; entenda

O Reddit, plataforma de mídia social, anunciou na terça-feira (25) que atualizará um padrão web utilizado para bloquear a coleta automatizada de dados em seu site. A decisão segue relatos de startups de inteligência artificial (IA) que estariam driblando as regras para coletar conteúdo para seus sistemas.

A medida ocorre em um momento de questionamentos sobre empresas de inteligência artificial acusadas de plagiar conteúdo de editoras para criar resumos gerados por IA, sem dar crédito ou pedir permissão.

O Reddit informou que atualizará o protocolo de exclusão de robôs, ou “robots.txt”, um padrão amplamente aceito para determinar quais partes de um site podem ser rastreadas por bots.

A empresa também afirmou que manterá a limitação de taxa, uma técnica usada para controlar o número de solicitações de uma única entidade, e bloqueará bots e rastreadores desconhecidos da raspagem de dados – coleta e salvamento de informações brutas – em seu site.

O “robots.txt” se tornou uma ferramenta crucial para editoras evitarem que empresas de tecnologia usem seu conteúdo gratuitamente para treinar algoritmos de IA e criar resumos em resposta a algumas consultas de pesquisa.

Na semana passada, uma carta enviada pela startup de licenciamento de conteúdo TollBit para editoras, alegou que diversas empresas de IA estavam contornando o padrão da web para raspar dados de sites jornalísticos.

Isso segue uma investigação da Wired, que descobriu que a startup de busca por IA, Perplexity, provavelmente ignorou os esforços para bloquear seu rastreador da web por meio do “robots.txt”.

No início de junho, a editora de mídia de negócios Forbes acusou a Perplexity de plagiar suas reportagens investigativas para uso em sistemas de IA generativa, sem dar crédito.

O Reddit garantiu na terça-feira (25) que pesquisadores e organizações como o Internet Archive ainda terão acesso ao seu conteúdo para uso não comercial.

Leia também: