AubeBot
Aube è un giornale online tecno-ottimista: racconta ciò che avanza e ciò che funziona, in tutti i campi della tecnologia. Segue questa attualità a partire dai flussi che gli editori pubblicano. Questa pagina dice chi bussa alla tua porta, cosa legge, con quale cadenza, e come chiudergli la porta — si rivolge agli amministratori che hanno appena visto «AubeBot» nei loro log.
Carta d’identità
- User-Agent
AubeBot/0.1 (+https://aube.news/robot; collecte RSS polie)- Gestore
- Aube. — https://aube.news
- Contatto
- [email protected]
- Origine delle richieste
- Un’unica macchina virtuale, indirizzo IP fisso. Nessuna rotazione di indirizzi, nessun proxy, nessun browser automatizzato.
Cosa legge
- Il tuo flusso RSS o Atom pubblico, e nient’altro finché basta: al massimo quaranta elementi per lettura.
- Con richieste condizionali (If-None-Match, If-Modified-Since). Se non è cambiato niente dalla lettura precedente, il tuo server risponde 304 e non invia alcun corpo.
- La pagina di un articolo, solo quando il flusso ne pubblica un sommario di meno di seicento caratteri — e solo per un indirizzo mai letto. Una pagina letta una volta non viene mai richiesta di nuovo.
- Il tuo robots.txt prima di ogni richiesta, flussi compresi, interpretato secondo la RFC 9309: gruppo più specifico, direttive Allow, caratteri jolly, e Crawl-delay rispettato fino a dieci secondi.
Cosa non fa
- Non esplora il tuo sito: apre solo gli indirizzi che il tuo flusso ha pubblicato, e non segue alcun link interno.
- Non esegue JavaScript, non accede ad alcun account, non accetta cookie e non aggira alcun paywall. Un articolo a pagamento non viene mai estratto, nemmeno quando la pagina ne trasporta il testo.
- Non ripubblica mai il tuo articolo. Ciò che appare su Aube è un testo originale in francese, che cita la fonte e vi rimanda con un link cliccabile.
- Non riprende nessuna delle tue immagini: le illustrazioni di Aube sono generate a partire dal numero chiave dell’articolo.
- Aube non addestra alcun modello. I testi letti servono a scrivere un articolo, mai a costituire un corpus di addestramento.
Cadenza
- Una lettura di flusso per fonte ogni quindici minuti al massimo — e nessun dato trasmesso quando non è cambiato niente.
- Almeno millecinquecento millisecondi tra due richieste verso lo stesso host, contati dalla fine di una richiesta all’inizio della successiva. Il tuo Crawl-delay prevale se è più lungo.
- Al massimo cinque pagine di articolo per fonte e per quarto d’ora, sessanta in totale su tutte le fonti.
- Le richieste partono una alla volta. AubeBot non apre mai due connessioni insieme, né verso di te né verso chiunque altro.
Vietargli il tuo sito
Bastano tre righe nel tuo robots.txt, e vengono rispettate senza discutere:
User-agent: AubeBot Disallow: /
Il file viene riletto una volta per host e per ciclo: il divieto ha effetto entro un quarto d’ora. Per rallentare invece di chiudere, basta un Crawl-delay; per chiudere solo una sezione, un Disallow sul suo percorso.
Se preferisci scrivere invece di configurare — rimozione di un articolo già pubblicato, domande sull’uso dei tuoi contenuti, richiesta di esclusione — all’indirizzo qui sopra arrivano messaggi veri e si risponde.
Cosa viene pubblicato a partire dai tuoi contenuti
Un articolo di Aube riunisce più fonti che trattano lo stesso fatto, poi le riscrive in francese. Il titolo, la data e l’indirizzo di ogni fonte sono mostrati in fondo all’articolo, con un link cliccabile alla pagina di origine. È possibile una citazione breve tra virgolette; la ripresa di frasi intere no.