Dokumentation Web Crawler

Diese Anleitung erklärt Schritt für Schritt, wie Sie mit dem Webcrawler Inhalte von Webseiten automatisch in eine Wissensdatenbank einlesen. Es sind keine technischen Vorkenntnisse nötig – alles passiert über die Benutzeroberfläche.

1. Was macht der Webcrawler?

Der Webcrawler ruft Seiten einer Website auf, wandelt ihren Text in Dokumente um und legt diese in einer Wissensdatenbank ab. Danach kann der Chatbot die Inhalte dieser Seiten in seinen Antworten verwenden – genauso wie hochgeladene PDF- oder Word-Dateien.

Sie richten dafür eine Crawl-Quelle ein. Das ist eine gespeicherte Konfiguration („Ab dieser Adresse, mit diesen Einstellungen“), die Sie beliebig oft erneut ausführen können – manuell per Klick oder automatisch nach Zeitplan.

Wichtig: Bei jedem weiteren Durchlauf werden nur neue und geänderte Seiten eingelesen. Unveränderte Seiten werden erkannt und übersprungen. Ein wöchentlicher Lauf erzeugt also keine Duplikate und verursacht kaum Aufwand.

2. Wo finde ich den Crawler?

1. Öffnen Sie die gewünschte Wissensdatenbank.
2. Klicken Sie links in der Seitenleiste auf Crawler.

Sie sehen nun eine Tabelle mit allen bereits angelegten Crawl-Quellen. Ist noch keine vorhanden, steht dort „Noch keine Crawl-Quellen vorhanden.“

Alternativ finden Sie den Einstieg im Tab Datensatz unter Inhalte hinzufügen → Web-Crawl. Dieser Knopf führt an dieselbe Stelle und öffnet direkt das Formular für eine neue Crawl-Quelle.

3. Eine neue Crawl-Quelle anlegen

Klicken Sie oben rechts auf Neue Crawl-Quelle. Es öffnet sich ein Formular.

Für den Anfang genügen die drei Felder im oberen Bereich – alles darunter („Erweiterte Einstellungen“) können Sie zunächst geschlossen lassen.

3.1 Link-Erkennung

Hier legen Sie fest, wie der Crawler herausfindet, welche Seiten er einlesen soll. Es gibt drei Möglichkeiten:

Was ist eine Sitemap? Viele Websites veröffentlichen ein maschinenlesbares Inhaltsverzeichnis unter einer Adresse wie https://beispiel.de/sitemap.xml. Probieren Sie diese Adresse einfach im Browser aus: Erscheint eine (unschön formatierte) Liste von Adressen, existiert eine Sitemap und Sie können den Sitemap-Modus verwenden. Erscheint eine Fehlerseite, nehmen Sie Deep Crawl.

3.2 URL bzw. Sitemap-URL

Die Adresse, bei der der Crawler beginnt – inklusive https://.

• Bei Deep Crawl: die Startseite oder ein Bereich, z. B. https://beispiel.de oder https://beispiel.de/wissen/
• Bei Sitemap: die Adresse der Sitemap-Datei, z. B. https://beispiel.de/sitemap.xml
• Bei URL-Liste: Statt dieses Feldes erscheint das Feld URLs.

Beim Deep Crawl folgt der Crawler allen Links innerhalb der Website, nicht nur unterhalb der Start-Adresse. Verlinkt die Seite z. B. über die Navigation auf die Startseite, wird die ganze Website gecrawlt. Um auf einen Bereich zu begrenzen, tragen Sie unter „Erweiterte Einstellungen“ bei Url Patterns ein Muster ein, z. B. https://beispiel.de/handbuch/*.

Nur öffentlich erreichbare Adressen sind erlaubt. Interne Adressen aus dem Firmennetz (z. B. 192.168.… oder localhost) werden abgelehnt.

3.3 Name

Ein frei wählbarer Name, unter dem die Crawl-Quelle in der Tabelle erscheint, z. B. „Website Physiotherapie – Fachartikel“. Wenn Sie in das Feld klicken, wird automatisch ein Vorschlag aus der Adresse erzeugt, den Sie überschreiben können.

3.4 Nach Crawl analysieren

Bleibt normalerweise eingeschaltet.

• Ein (Standard): Die gefundenen Seiten werden direkt nach dem Crawl automatisch verarbeitet („geparst und eingebettet“) und stehen dem Chatbot danach zur Verfügung.
• Aus: Die Seiten werden zwar heruntergeladen und als Dokumente gespeichert, aber noch nicht verarbeitet. Sie müssten sie später im Tab Datensatz von Hand starten. Sinnvoll nur, wenn Sie die Ergebnisse vorher prüfen möchten.

3.5 Bilder für Änderungserkennung berücksichtigen

Bleibt normalerweise eingeschaltet. Diese Einstellung betrifft nur wiederholte Durchläufe:

• Ein (Standard): Eine Seite gilt als geändert, sobald sich auch nur eine Bild-Adresse darauf ändert.
• Aus: Bild-Adressen werden beim Vergleich ignoriert. Das hilft bei Websites, die ihren Bildern bei jedem Aufruf technisch neue Adressen geben – sonst würde jede Seite bei jedem Lauf fälschlich als „geändert“ gelten und unnötig neu verarbeitet.

Wenn Sie nach wiederholten Läufen sehen, dass verdächtig viele Seiten als „Aktualisiert“ gemeldet werden, obwohl sich inhaltlich nichts getan hat: schalten Sie diese Option aus.

3.6 Seiten löschen, die im letzten Crawl fehlen

Standardmäßig ausgeschaltet. Diese Einstellung betrifft nur wiederholte Durchläufe:

• Ein: Eine Seite, die diese Crawl-Quelle früher eingelesen hat, wird gelöscht (Dokument, Textabschnitte und Datei), sobald ein Durchlauf sie nicht mehr findet.
• Aus (Standard): Solche Seiten bleiben in der Wissensdatenbank.

Zur Sicherheit wird nichts gelöscht, wenn der Durchlauf abgebrochen wurde, keine einzige Seite abrufen konnte, die maximale Seitenzahl erstmals erreicht hat oder sich seit dem letzten Lauf Einstellungen geändert haben, die den Umfang beeinflussen (Start-URL, Link-Erkennung, Max Depth, Url- oder Typ-Filter).

Beim Deep Crawl kann eine Seite fehlen, nur weil gerade nichts mehr auf sie verlinkt. Zuverlässiger ist diese Einstellung im Sitemap-Modus.

3.7 Speichern

Klicken Sie auf OK. Die Crawl-Quelle erscheint jetzt in der Tabelle – sie ist damit angelegt, aber noch nicht ausgeführt.

4. Einen Crawl starten und beobachten

In der Tabelle finden Sie pro Zeile rechts vier Symbole:

Während ein Durchlauf läuft, wird das ▶-Symbol durch ein Stopp-Symbol (■) ersetzt, mit dem Sie den Crawl vorzeitig beenden können. Bearbeiten und Löschen sind währenddessen deaktiviert.

Die Status-Spalte lesen

Der Status aktualisiert sich automatisch (alle paar Sekunden). Ein Durchlauf hat zwei Phasen, die nacheinander angezeigt werden:

• „Crawlt 42 %“ – die Seiten werden gerade von der Website abgerufen.
• „17 von 120 Seiten verarbeitet“ mit Fortschrittsbalken – die abgerufenen Seiten werden nun analysiert und für die Suche aufbereitet. Diese zweite Phase dauert meist deutlich länger als die erste.

Weitere Anzeigen:

Ein Klick auf den Statustext öffnet den Report des letzten Durchlaufs.

Hinweis: Es kann immer nur ein Durchlauf pro Crawl-Quelle gleichzeitig laufen. Klicken Sie ▶ trotzdem, erscheint der Hinweis „Es läuft bereits ein Durchlauf“.

5. Den Report verstehen

Der Report ist das Protokoll eines Durchlaufs. Sie erreichen ihn über den Statustext oder über 🕘 Verlauf → Report anzeigen.

Er enthält:

• Start-URL – wo der Durchlauf begonnen hat.
• Zusammenfassung – z. B. „120 Seiten insgesamt, 118 erfolgreich, 2 fehlgeschlagen.“
• Seit letztem Lauf – z. B. „3 neu, 5 aktualisiert, 110 unverändert (nicht erneut analysiert).“ Genau hier sehen Sie, dass wiederholte Läufe sparsam arbeiten.
• Erfolgreiche Seiten – Tabelle mit Adresse, Titel, Statuscode und Ergebnis:
  • Neu – Seite war noch nicht in der Wissensdatenbank.
  • Aktualisiert – Seite existierte, ihr Inhalt hat sich geändert; das alte Dokument wurde durch das neue ersetzt.
  • Unverändert – übersprungen – nichts zu tun.
• Fehlerhafte Seiten – Tabelle mit Adresse, Statuscode, wahrscheinlicher Ursache und Fehlermeldung. Steht dort „Keine Fehler – alle Seiten erfolgreich gecrawlt.“, ist alles in Ordnung.
• Crawl-Konfiguration – die Einstellungen, mit denen dieser Lauf ausgeführt wurde. (Praktisch, wenn Sie die Einstellungen zwischenzeitlich geändert haben.)

Über Report herunterladen speichern Sie das Protokoll als Datei, z. B. um es an Kolleginnen und Kollegen weiterzugeben.

Häufige Statuscodes

6. Automatisch nach Zeitplan ausführen

Damit die Wissensdatenbank aktuell bleibt, können Sie einen wiederkehrenden Zeitplan festlegen – dann läuft der Crawl ohne Ihr Zutun.

1. Klicken Sie in der Zeile der Crawl-Quelle auf die Spalte Zeitplan (dort steht zunächst „Aus“).
2. Schalten Sie Automatisch ausführen ein.
3. Wählen Sie:
   • Häufigkeit: Täglich, Wöchentlich oder Monatlich. Bei „Täglich“ entfällt die Auswahl von Wochentag bzw. Tag im Monat.
   • Wochentag bzw. Tag im Monat (bei kürzeren Monaten läuft der Crawl am letzten Tag des Monats)
   • Uhrzeit – bitte in Ihrer lokalen Zeit; die Umrechnung passiert automatisch. Nach der Umstellung auf Sommer- bzw. Winterzeit läuft der Crawl eine Stunde später bzw. früher. Passen Sie die Uhrzeit dann bei Bedarf an.
   • Enddatum (optional) – danach läuft nichts mehr
4. Klicken Sie auf OK.

In der Tabelle steht dann z. B. „Wöchentlich · Montag · 06:00“ und darunter „Nächster Lauf: 2026-09-08 06:00“.

Empfehlung: Legen Sie den Lauf in die frühen Morgenstunden. Das schont die Zielwebsite und das System zu Zeiten, in denen ohnehin niemand damit arbeitet.

Läuft zum geplanten Zeitpunkt noch ein früherer Durchlauf, wird der neue Termin übersprungen und der Zeitplan geht regulär zum nächsten Termin weiter.

7. Erweiterte Einstellungen

Diese Einstellungen brauchen Sie im Normalfall nicht. Die Standardwerte sind für die meisten Websites gut gewählt. Klappen Sie den Bereich Erweiterte Einstellungen nur auf, wenn ein konkretes Problem zu lösen ist.

Im Folgenden die Optionen, die im Alltag tatsächlich relevant werden können:

Umfang begrenzen

Umgang mit der Zielwebsite

Qualität des eingelesenen Textes

Nur im Sitemap-Modus

Die übrigen Optionen (Pruning Content Filter, Markdown Generator Optionen, Escape HTML, Cache Mode) sind Feineinstellungen für Spezialfälle und sollten nur nach Rücksprache mit der IT verändert werden. Pruning Content Filter und Escape HTML haben derzeit keine Auswirkung. Cache Mode sollte auf Disabled bleiben, sonst können Änderungen auf der Website bei wiederholten Läufen übersehen werden.

8. Geschützte Bereiche crawlen

Verlangt die Website eine Anmeldung, stehen unter Erweiterte Einstellungen → Authentifizierung zwei Verfahren zur Verfügung. Welches das richtige ist, hängt davon ab, wie sich die Website anmeldet – fragen Sie im Zweifel bei der IT oder beim Betreiber der Website nach.

• Basic Auth – für Websites, bei denen beim Aufruf ein kleines Browser-Fenster nach Benutzername und Passwort fragt. Sie tragen einfach Benutzername und Passwort ein.
• Formular-Login – für Websites mit einer normalen Login-Seite. Zusätzlich zu Benutzername und Passwort brauchen Sie die Login-URL (die Adresse der Anmeldeseite) sowie die technischen Namen der beiden Eingabefelder („Benutzername-Feld“, „Passwort-Feld“). Die Standardwerte user und pass passen längst nicht überall – hier hilft die IT weiter.
  • Logout-URL-Muster – erkennt eine abgelaufene Anmeldung: Landet ein Seitenabruf auf einer Adresse, die zu einem der Muster passt (z. B. /login/), wird die Seite verworfen statt gespeichert. Die Muster sind reguläre Ausdrücke.

Gespeicherte Passwörter werden beim späteren Öffnen des Formulars nur noch maskiert angezeigt. Wenn Sie die Felder unangetastet lassen, bleibt das hinterlegte Passwort erhalten.

Bitte beachten: Verwenden Sie nach Möglichkeit ein eigenes, nur lesendes Konto für den Crawler – kein persönliches Benutzerkonto.

Achtung: Bei Basic Auth werden Benutzername und Passwort derzeit auch an fremde Server gesendet, die eine Seite einbindet (z. B. CDNs, Analytics, eingebettete Videos). Basic Auth nur mit einem eigenen Konto ohne weitere Rechte verwenden.

PDFs werden derzeit ohne Anmeldung heruntergeladen und schlagen in geschützten Bereichen fehl.

9. Verlauf und Aufräumen

Über 🕘 Verlauf sehen Sie alle bisherigen Durchläufe einer Crawl-Quelle mit Datum und Status. Von dort aus können Sie jeden einzelnen Report öffnen, herunterladen oder löschen. Der jeweils letzte Durchlauf kann nicht gelöscht werden – er liefert die Anzeige in der Übersichtstabelle.

Crawl-Quelle löschen: Entfernt nur die gespeicherte Konfiguration. Die bereits eingelesenen Dokumente bleiben in der Wissensdatenbank erhalten – diese verwalten Sie weiterhin im Tab Datensatz.

Was passiert mit Seiten, die von der Website verschwinden? Standardmäßig bleiben sie in der Wissensdatenbank, bis Sie sie im Tab Datensatz von Hand löschen. Ist Seiten löschen, die im letzten Crawl fehlen eingeschaltet, werden sie beim nächsten vollständigen Durchlauf automatisch entfernt (siehe Abschnitt 3.6).

10. Empfohlenes Vorgehen für den ersten Crawl

1. Klein anfangen. Legen Sie die Quelle an und setzen Sie unter „Erweiterte Einstellungen“ Max Pages auf einen kleinen Wert (z. B. 50).
2. Einmal manuell ausführen (▶) und den Durchlauf abwarten.
3. Report ansehen: Stimmen Zahl und Auswahl der Seiten? Gibt es viele Fehler?
4. Stichprobe im Tab „Datensatz“: Öffnen Sie zwei, drei der neuen Dokumente. Ist der Text sauber – oder stehen dort Cookie-Banner, Navigation und Impressum? Dann in den erweiterten Einstellungen nachschärfen (Abschnitt 7).
5. Im Tab „Testen der Suche“ eine typische Frage stellen und prüfen, ob die erwarteten Stellen gefunden werden.
6. Passt alles: Max Pages hochsetzen, vollständig durchlaufen lassen und einen Zeitplan einrichten.

11. Typische Probleme

12. Bitte beachten

• Crawlen Sie nur Websites, für die Sie die Erlaubnis haben – eigene Websites, oder fremde nach Absprache. Lassen Sie Check robots.txt eingeschaltet.
• Beachten Sie Urheberrecht und Nutzungsbedingungen der Quelle. Fremde Inhalte in eine interne Wissensdatenbank zu übernehmen, ist nicht automatisch zulässig.
• Personenbezogene Daten auf Websites unterliegen dem Datenschutz. Im Zweifel vorher Rücksprache halten.
• Ein Crawl erzeugt Last auf der Zielwebsite. Große Läufe deshalb möglichst nachts oder in Randzeiten planen und Sequential Crawling verwenden, wenn die Website empfindlich reagiert.