AubeBot
Aube est un journal en ligne techno-optimiste : il raconte ce qui avance et ce qui marche, dans tous les domaines de la technologie. Il suit cette actualité à partir des flux que les éditeurs publient. Cette page dit qui frappe à votre porte, ce qu’il lit, à quelle cadence, et comment lui fermer la porte — elle s’adresse aux administrateurs qui viennent de relever « AubeBot » dans leurs journaux.
Carte d’identité
- User-Agent
AubeBot/0.1 (+https://aube.news/robot; collecte RSS polie)- Exploitant
- Aube. — https://aube.news
- Contact
- [email protected]
- Origine des requêtes
- Une machine virtuelle unique, adresse IP fixe. Aucune rotation d’adresse, aucun relais, aucun navigateur automatisé.
Ce qu’il lit
- Votre flux RSS ou Atom public, et rien d’autre tant qu’il suffit : au plus quarante items par lecture.
- En requête conditionnelle (If-None-Match, If-Modified-Since). Si rien n’a changé depuis la lecture précédente, votre serveur répond 304 et n’envoie aucun corps.
- La page d’un article, uniquement lorsque le flux n’en publie qu’un chapô de moins de six cents signes — et uniquement pour une adresse jamais lue. Une page lue une fois n’est jamais redemandée.
- Votre robots.txt avant chaque requête, flux compris, interprété selon la RFC 9309 : groupe le plus spécifique, directives Allow, jokers, et Crawl-delay honoré jusqu’à dix secondes.
Ce qu’il ne fait pas
- Il ne parcourt pas votre site : il n’ouvre que les adresses que votre flux a lui-même publiées, et ne suit aucun lien interne.
- Il n’exécute aucun JavaScript, ne se connecte à aucun compte, n’accepte aucun cookie et ne contourne aucun mur payant. Un article payant n’est jamais extrait, même quand la page en transporte le texte.
- Il ne republie jamais votre article. Ce qui paraît sur Aube est un texte original en français, qui cite la source et renvoie vers elle par un lien cliquable.
- Il ne reprend aucune de vos images : les illustrations d’Aube sont générées à partir du chiffre clé de l’article.
- Aube n’entraîne aucun modèle. Les textes lus servent à écrire un article, jamais à constituer un corpus d’entraînement.
Cadence
- Une lecture de flux par source toutes les quinze minutes au plus — et aucune donnée transmise quand rien n’a changé.
- Au moins mille cinq cents millisecondes entre deux requêtes vers le même hôte, comptées de la fin d’une requête au début de la suivante. Votre Crawl-delay l’emporte s’il est plus long.
- Au plus cinq pages d’article par source et par quart d’heure, soixante toutes sources confondues.
- Les requêtes partent une par une. AubeBot n’ouvre jamais deux connexions à la fois, ni vers vous ni vers qui que ce soit.
Lui interdire votre site
Trois lignes dans votre robots.txt suffisent, et elles sont respectées sans discussion :
User-agent: AubeBot Disallow: /
Le fichier est relu une fois par hôte et par cycle : l’interdiction prend effet dans le quart d’heure. Pour ralentir plutôt que fermer, un Crawl-delay suffit ; pour ne fermer qu’une rubrique, un Disallow sur son chemin.
Si vous préférez écrire plutôt que configurer — retrait d’un article déjà publié, question sur l’usage fait de vos contenus, demande d’exclusion — l’adresse ci-dessus reçoit de vrais messages et il y est répondu.
Ce qui est publié à partir de vos contenus
Un article d’Aube regroupe plusieurs sources traitant du même fait, puis les réécrit en français. Le titre, la date et l’adresse de chaque source sont affichés en bas de l’article, avec un lien cliquable vers la page d’origine. Une citation courte entre guillemets est possible ; la reprise de phrases entières ne l’est pas.