Crawler

Beim karriere.at Bot handelt es sich um einen automatisierten Web Crawler, der das österreichische Web nach Jobinseraten durchsucht. Dabei achten wir auf Einhaltung von nachfolgenden Richtlinien. Für den Fall, dass Sie Fragen zu diesen Richtlinien oder sonstigen Aspekten dieses Crawlers haben, nehmen Sie bitte Kontakt zu uns auf.

Robots Exclusion Standard

Als Betreiber einer Website können Sie steuern, ob und wie Ihre Website von Robots besucht werden darf. Sie können dabei Zugriffe von Robots einschränken, indem Sie eine Datei robots.txt im Root-Verzeichnis Ihrer Domain bereitstellen. Wenn Sie zum Beispiel verhindern wollen, dass Seiten unter dem Pfad /admin vom karriere.at Robot aufgerufen werden, können Sie dies über folgenden Eintrag erzielen:

User-agent: karriereatBot
Disallow: /admin/

Meta Tags

Um das Indizieren einzelner Seiten gezielt zu steuern, können Sie Meta Tags für Robots verwenden. Mittels noindex verhindern Sie, dass die aktuelle Seite indiziert wird, während nofollow das Verfolgen von Links auf der Seite verhindert. Diese Einstellungen werden vom karriere.at Robot berücksichtigt. Wenn Sie eine Einzelseite nicht indizieren wollen, empfiehlt sich diese Variante:

<meta name="robots" content="noindex, follow" />

Politeness

Das alleinige Ziel des karriere.at Robots ist es, Jobs auf Websiten zu finden. Wenn eine Website keine Jobs enthält, wird dies von unserem Robot bereits nach wenigen Einzelseiten erkannt, damit keine weiteren Seiten aufgerufen werden müssen. Diese Methode wird „Topical Crawling“ genannt. Zusätzlich wird das Intervall der Seitenaufrufe eingeschränkt, sodass zwischen zwei Zugriffen mindestens 5 Sekunden liegen bzw. mindestens das Siebenfache der Antwortzeit Ihrer Seite.

Menü

Funktionen

Durch die Nutzung unserer Angebote erklärst du dich mit dem Setzen von Cookies einverstanden. Mehr erfahren