robots.txt

O arquivo “robots.txt” tem sido um acordo fundamental, porém informal, que tem governado as atividades de rastreamento na web há décadas. Inicialmente estabelecido para gerenciar o acesso de rastreadores benignos ou “robôs” a websites, o sistema é baseado no respeito mútuo e na cooperação entre administradores de sites, desenvolvedores e criadores de rastreadores.