menü
Scroll
Crawler sind kleine Programme, die in gewissen Intervallen das Internet durchsuchen. Diese erfassen dabei Inhalte wie, insbesondere Texte, aber auch Bilder und Videos. Daher sind es vorwiegend Suchmaschinenbetreiber, die solche Crawler einsetzen, um Webseiten in ihren Suchindex aufzunehmen. Crawler folgen in aller Regel sämtlichen Verlinkungen, die sie in einem Webauftritt finden. Selbstverständlich gibt es auch Crawler, die nicht die Aufgabe haben, Seiten zu indexieren. So können z. B. unerwünschte Spam-Mails die Folge des Einsatzes eines sogenannten Harvesters sein. Als Harvester werden Crawler bezeichnet, die nur die Aufgabe haben, gezielt nach Adressen von Nutzern oder Firmen zu suchen und diese zu sammeln für den späteren Spam-Mail-Versand.
Steuerung von Crawlern
Das Verhalten der Suchmaschinen-Crawler können Sie als Websitebetreiber darüber hinaus auch in Teilen steuern. So können Sie etwa den verschiedenen Googlebots über eine vorliegende robots.txt den Besuch einer oder mehrerer Websites bzw. bestimmter Pfadstrukturen untersagen. Weiterhin können Sie auch im <head>-Bereich des Webauftritts durch entsprechende Anweisungen wie „noindex“ das Indizieren oder mittels „nofollow“ das Folgen von Links auf der Seite untersagen. Selbstverständlich gilt das auch für andere Suchmaschinen und deren Crawler.
Einfluss auf SEO
So nützlich die Steuerungsmöglichkeiten sein mögen, sollten Sie hier immer eine gewisse Vorsicht walten lassen. Insbesondere das „noindex“ ist mit Bedacht zu verwenden. Denn wenn Sie unbeabsichtigt eine oder mehrere Seiten vom Index ausschließen, obwohl hier viel Arbeit in die Suchmaschinenoptimierung eingeflossen ist, wäre das mehr als ärgerlich. Denn diese Seiten würden schlicht nicht im Index auftauchen. Umgekehrt kann es sinnvoll sein, sensiblere Bereiche bewusst aus dem Suchindex auszuschließen.
Eine Gute Wahl
Wir arbeiten jetzt seit einiger Zeit mit bense.com zusammen und sind sehr zufrieden. bense.com bietet eine hervorragende Dienstleistung und eine außergewöhnliche Hilfsbereitschaft. Gute technische Umsetzung ist nicht alles. Das Team von bense hat darüber hinaus durch Freundlichkeit und Zuverlässigkeit auf allen Ebenen überzeugt. Besten Dank!
RA Adam | ausgezeichnet.org
Relaunch meiner Webseite
Vom allerersten Kontakt bis zur Onlinestellung meiner Webseite war die Agentur Bense das Beste, was mir passieren konnte. Meine Webseite sollte inhaltlich und layoutmässig verändert werden, der Domainname musste geändert werden. Alle Mitarbeiter der Agentur kommunizieren miteinander, um Jederzeit den Kundenwünschen gerecht zu werden. Ich hatteauch irgendwann keine Ideen mehr für das Layout und war zeitlich immer sehr limitiert unterwegs.. die Firma Bense war mit ihren Mitarbeitern stets freundlich, kompetent und geduldig. Ich kann nur Danke sagen für die tolle Webseite und die weitere Betreuung.
bb-pflege.de | ausgezeichnet.org
Gestaltung neuer Webauftritt
Alle Mitarbeiter waren immer sehr freundlich und haben tolle Ideen entwickelt. änderungswünsche wurden immer sofort umgesetzt. Wir sind mit dem Ergebnis und der Betreuung durch die Firma Bense hoch zufrieden. Ganze klare Weiterempfehlung.
Vesterling Rechtsanwälte | ausgezeichnet.org
Super Dienstleister
Bense macht seit Jahren unser erfolgreiches Onlinemarketing. Bense trägt damit wesentlich zum Erfolg und zur Marktdurchdringung der Anwaltskanzlei Hecht & Kollegen bei. Wir freuen uns über diesen starken Partner!!!
Heiko Hecht | ausgezeichnet.org
Sehr zufrieden! Danke für die hervorragende Arbeit!
Ich bin sehr zufrieden mit der Neuerstellung meiner Praxiswebseite. Das neue Design ist um Klassen besser als das meiner alten Webseite. Der Kontakt mit Herrn Wildenhues war stets sehr freundlich und effektiv.
Dr. med. Claus Jung | ausgezeichnet.org
Effizienz und Individualität werden hier groß geschrieben!
Ich arbeite seit Jahren mit der Firma Bense zusammen und bin immer wieder begeistert über die schnelle Reaktion bei Anfragen und änderungswünschen. Preis/Leistung sind unschlagbar!
Rechtsanwältin Surkamp | ausgezeichnet.org
