AubeBot
Aube ist eine technikoptimistische Online-Zeitung: Sie erzählt, was vorankommt und was funktioniert, in allen Feldern der Technik. Sie verfolgt dieses Geschehen über die Feeds, die die Herausgeber veröffentlichen. Diese Seite sagt, wer an Ihre Tür klopft, was er liest, in welchem Takt und wie Sie ihn aussperren — sie richtet sich an Administratoren, die gerade „AubeBot“ in ihren Logs entdeckt haben.
Steckbrief
- User-Agent
AubeBot/0.1 (+https://aube.news/robot; collecte RSS polie)- Betreiber
- Aube. — https://aube.news
- Kontakt
- [email protected]
- Herkunft der Anfragen
- Eine einzige virtuelle Maschine, feste IP-Adresse. Keine Adressrotation, kein Proxy, kein automatisierter Browser.
Was er liest
- Ihren öffentlichen RSS- oder Atom-Feed, und nichts weiter, solange das genügt: höchstens vierzig Einträge pro Abruf.
- Mit bedingten Anfragen (If-None-Match, If-Modified-Since). Hat sich seit dem letzten Abruf nichts geändert, antwortet Ihr Server mit 304 und sendet keinen Inhalt.
- Die Seite eines Artikels, und zwar nur dann, wenn der Feed lediglich einen Anrisstext von weniger als sechshundert Zeichen veröffentlicht — und nur für eine nie gelesene Adresse. Eine einmal gelesene Seite wird nie erneut angefragt.
- Ihre robots.txt vor jeder Anfrage, Feeds eingeschlossen, ausgewertet nach RFC 9309: spezifischste Gruppe, Allow-Direktiven, Platzhalter, und Crawl-delay bis zu zehn Sekunden beachtet.
Was er nicht tut
- Er durchsucht Ihre Website nicht: Er öffnet nur die Adressen, die Ihr Feed selbst veröffentlicht hat, und folgt keinem internen Link.
- Er führt kein JavaScript aus, meldet sich bei keinem Konto an, nimmt keine Cookies an und umgeht keine Bezahlschranke. Ein kostenpflichtiger Artikel wird nie ausgelesen, auch wenn die Seite den Text mitliefert.
- Er veröffentlicht Ihren Artikel nie erneut. Was auf Aube erscheint, ist ein eigener Text auf Französisch, der die Quelle nennt und über einen klickbaren Link auf sie verweist.
- Er übernimmt keines Ihrer Bilder: Die Illustrationen von Aube entstehen aus der Kernzahl des Artikels.
- Aube trainiert kein Modell. Die gelesenen Texte dienen dazu, einen Artikel zu schreiben, nie dazu, einen Trainingskorpus aufzubauen.
Takt
- Höchstens ein Feed-Abruf je Quelle alle fünfzehn Minuten — und keine Datenübertragung, wenn sich nichts geändert hat.
- Mindestens tausendfünfhundert Millisekunden zwischen zwei Anfragen an denselben Host, gerechnet vom Ende der einen bis zum Beginn der nächsten. Ihr Crawl-delay hat Vorrang, wenn er länger ist.
- Höchstens fünf Artikelseiten je Quelle und Viertelstunde, sechzig über alle Quellen zusammen.
- Die Anfragen gehen einzeln hinaus. AubeBot öffnet nie zwei Verbindungen gleichzeitig, weder zu Ihnen noch zu sonst jemandem.
Ihm Ihre Website verbieten
Drei Zeilen in Ihrer robots.txt genügen, und sie werden ohne Diskussion befolgt:
User-agent: AubeBot Disallow: /
Die Datei wird einmal je Host und Durchlauf neu gelesen: Das Verbot greift binnen einer Viertelstunde. Um zu bremsen statt zu schließen, genügt ein Crawl-delay; um nur ein Ressort zu schließen, ein Disallow auf dessen Pfad.
Wenn Sie lieber schreiben als konfigurieren — Rücknahme eines bereits veröffentlichten Artikels, Frage zur Nutzung Ihrer Inhalte, Antrag auf Ausschluss — an der oben genannten Adresse kommen echte Nachrichten an, und sie werden beantwortet.
Was aus Ihren Inhalten veröffentlicht wird
Ein Artikel von Aube führt mehrere Quellen zum selben Sachverhalt zusammen und schreibt sie dann auf Französisch neu. Titel, Datum und Adresse jeder Quelle stehen unter dem Artikel, mit einem klickbaren Link zur Ursprungsseite. Ein kurzes Zitat in Anführungszeichen ist möglich; die Übernahme ganzer Sätze nicht.