AubeBot
Aube é um jornal online tecno-otimista: conta o que avança e o que funciona, em todos os domínios da tecnologia. Segue essa atualidade a partir dos fluxos que os editores publicam. Esta página diz quem bate à sua porta, o que lê, a que ritmo, e como fechar-lhe a porta — dirige-se aos administradores que acabam de ver «AubeBot» nos seus registos.
Ficha de identidade
- User-Agent
AubeBot/0.1 (+https://aube.news/robot; collecte RSS polie)- Responsável
- Aube. — https://aube.news
- Contacto
- [email protected]
- Origem dos pedidos
- Uma única máquina virtual, com endereço IP fixo. Sem rotação de endereços, sem proxies, sem navegador automatizado.
O que lê
- O seu fluxo RSS ou Atom público, e nada mais enquanto bastar: no máximo quarenta itens por leitura.
- Em pedido condicional (If-None-Match, If-Modified-Since). Se nada mudou desde a leitura anterior, o seu servidor responde 304 e não envia qualquer corpo.
- A página de um artigo, unicamente quando o fluxo publica apenas um resumo de menos de seiscentos caracteres — e unicamente para um endereço nunca lido. Uma página lida uma vez nunca é pedida de novo.
- O seu robots.txt antes de cada pedido, fluxos incluídos, interpretado segundo a RFC 9309: grupo mais específico, diretivas Allow, caracteres universais, e Crawl-delay respeitado até dez segundos.
O que não faz
- Não percorre o seu site: abre apenas os endereços que o próprio fluxo publicou, e não segue nenhuma ligação interna.
- Não executa JavaScript, não se liga a nenhuma conta, não aceita cookies e não contorna nenhum muro de pagamento. Um artigo pago nunca é extraído, mesmo quando a página transporta o texto.
- Nunca republica o seu artigo. O que aparece em Aube é um texto original em francês, que cita a fonte e remete para ela por uma ligação clicável.
- Não reutiliza nenhuma das suas imagens: as ilustrações de Aube são geradas a partir do número-chave do artigo.
- Aube não treina nenhum modelo. Os textos lidos servem para escrever um artigo, nunca para constituir um corpus de treino.
Ritmo
- Uma leitura de fluxo por fonte a cada quinze minutos no máximo — e nenhum dado transmitido quando nada mudou.
- Pelo menos mil e quinhentos milissegundos entre dois pedidos ao mesmo servidor, contados do fim de um pedido ao início do seguinte. O seu Crawl-delay prevalece se for mais longo.
- No máximo cinco páginas de artigo por fonte e por quarto de hora, sessenta no total de todas as fontes.
- Os pedidos saem um a um. O AubeBot nunca abre duas ligações ao mesmo tempo, nem para si nem para quem quer que seja.
Impedir-lhe o acesso ao seu site
Bastam três linhas no seu robots.txt, e são respeitadas sem discussão:
User-agent: AubeBot Disallow: /
O ficheiro é relido uma vez por servidor e por ciclo: a proibição produz efeito dentro de um quarto de hora. Para abrandar em vez de fechar, basta um Crawl-delay; para fechar apenas uma secção, um Disallow sobre o seu caminho.
Se preferir escrever em vez de configurar — retirada de um artigo já publicado, dúvidas sobre o uso dos seus conteúdos, pedido de exclusão — o endereço acima recebe mensagens reais e são respondidas.
O que é publicado a partir dos seus conteúdos
Um artigo de Aube reúne várias fontes que tratam o mesmo facto, e depois reescreve-as em francês. O título, a data e o endereço de cada fonte são apresentados no fim do artigo, com uma ligação clicável para a página de origem. É possível uma citação curta entre aspas; a reutilização de frases inteiras não o é.