Unser Crawler
Diese Seite erklärt, wer wir sind, was unser Crawler tut und wie du uns bittest, dein Forum nicht mehr zu besuchen. Es ist die Adresse, die unser User-Agent nennt.
Was der Crawler tut
- Beobachtete Foren : über 7.000
- Abgehörte Quellen : über 36.000
User-Agent: FindMentionBot/1.0
Wie er sich verhält
- Nein. Wir lesen die RSS- und JSON-Feeds, die Foren für Maschinen veröffentlichen, wir beachten ihre robots.txt, und wir öffnen nie zwei gleichzeitige Anfragen an dieselbe Seite. Ein Forum sieht zwei bis sieben Besuche pro Tag von uns.
- Wir kopieren weder Seiten noch Beiträge: nur einen Titel, einen Link zurück zur Quelle und den Anfang der Nachricht.
Entfernt werden
Schreib an die untenstehende Adresse mit der Domain deines Forums. Wir entfernen es am selben Tag, ohne Diskussion und ohne nach dem Grund zu fragen. Du kannst uns auch einfach in deiner robots.txt ausschließen: wir lesen sie einmal täglich und halten uns daran.