SISTRIX Toolbox
SISTRIX Toolbox

Mehr erfahren
Brands, KMU, wir machen den Unterschied!
Mehr erfahren

robots.txt für Dummies!

Shortcuts  |   |  , 10:22 Uhr  |  12 Kommentare

In dem gestern auszugsweise auf horrizont.net veröffentlichten Interview `Google ist eine Art Taliban´, hat sich der Springer-Lobbyist Christoph Keese offensichtlich nicht nur in seiner Wortwahl vergriffen, sondern legt in puncto Fachwissen über die aktuelle Funktionsweise von Suchmaschinen auch noch eine sträfliche Unkenntnis an den Tag…

Auf die Frage, warum Verlagsseiten die Listung in den Ergebnissen von Google nicht einfach selbst ver-hindern, antwortet Keese wie folgt:

Wie sollen wir die denn sperren? Jetzt sagen Sie: mit Robots.txt. Und was geschieht dann? Man wird bei jeder Suchmaschine und jedem Aggregator unsichtbar. An oder Aus für alle und alles – das ist die einzige Wahl, die einem Robots.txt lässt. Diese Technologie stammt aus der Steinzeit des Webs. Sie ist hoffnungslos veraltet und in keiner Weise mehr zukunftstauglich.

Obwohl Herr Keese es wahrscheinlich auch selbst weiß, möchten wir ihn dieser Stelle sicherheitshalber noch einmal darauf hinweisen, dass es mit Hilfe der robots.txt auch möglich ist, einzelne Suchmaschinen, z.B. nur den Googlebot, auszusperren! Hier die diesbezüglich Anleitung von Google selbst:

Ein User-Agent ist ein bestimmter Suchmaschinenrobot […] Sie können in einem Eintrag auf einen bestimmten Suchrobot verweisen (durch Angabe des Namens) oder alle Robots einbeziehen (durch ein Sternchen). Eine Sperrung für alle Suchrobots sieht folgendermaßen aus:

User-agent: *
Disallow: /

Google verwendet verschiedene Suchrobots (User-Agents). Der für unsere Websuche zu-ständige Robot heißt Googlebot. Unsere anderen Suchrobots wie Googlebot-Mobile und Googlebot-Image folgen ebenfalls den Regeln für den Googlebot. Ein Eintrag für den Googlebot sieht folgendermaßen aus:

User-agent: Googlebot
Disallow: /

Es kann doch wirklich nicht sein, dass in der Diskussion um das Leistungsschutzrecht mit derart inkompetenten Argumenten geworben wird!? Wie wir in unserem Artikel `Die Lösung im Leistungsschutzrecht-Streit´ beschrieben haben, bedarf es in der Diskussion einer differenzierten Betrachtung der möglichen technischen Lösungen, nicht aber der bloßen Anfeindung der Gegen-seite, oder noch schlimmer, der öffentlichen Darlegung falscher Sachverhalte…

Eure SEO-united.de Blogger
Sie befinden sind hier: robots.txt für Dummies!

Kommentare zu diesem Beitrag:

  1. Oneck Website sagt:

    Aber genau das ist es doch, was die ganze Diskussion wie ein roter Faden durchzieht: die Unkenntnis auf Seiten der Verlage. Ich bin mir fast sicher, dass der gute Herr Keese es wirklich nicht besser weiß.

    Außerdem gibt es neben der robots.txt noch weitere Möglichkeiten, bestimmte Seiten von der Indexierung auszunehmen – man denke etwa an die Meta-Robot-Anweisung.

    • Gretus Website sagt:

      Hallo Oneck,

      ich gehe davon aus, der er es weiß, es aber bewusst nicht sagt. Was am Ende noch schlimmer wäre…

      Grüße

      Gretus

      • Pascal Website sagt:

        Zumindest geht Herr Keese auch auf die Meta-Anweisungen Noindex und Nofollow ein. Hier begründet Keese es wieder mit dem Lichtschalterprinzip, also entweder rein oder raus. Da hat er sich zumindest schon auf seinem Blog geäußert

        Ich fürchte auch, er weiß genau um was es geht. Aber ein Hardliner und Lobbyist lässt sich doch nicht von Fakten in seiner Meinung beirren.

        Es gäbe aber auch noch Zwischenlösungen mit halbveröffentlichten Inhalten. Mit etwas PHP mittels einem explode-Befehl und einer Rechteverwaltung für registrierte Nutzer und Bots können auch beispielsweise nur die ersten zwei Absätze eines Artikels veröffentlicht werden, während registrierte Nutzer den vollen Artikel lesen können.

        Inkompetenz zum Thema würde ich Herrn Keese auf jeden Fall nicht unterstellen. Lobbyarbeit und Inkompetenz gegenüber Kritikannahme schon.

  2. Jan sagt:

    Jo, robots.txt war auch das Erste, was mir in den Sinn kam, als ich vor ein paar Jahren das Geschwafel eines Hubert Burda und Mathias Döpfner zu Gehör bekam.

    Und ich sagte mir: „Das kommt sicher nicht, das ist so irre absurd und zudem unwissend, das blasen die ab, sobald irgendjemand denen mal verrät, dass sie selbst bestimmen können, welche Inhalte sie in Suchmaschinen haben wollen.“

    Aber ich bin wieder mal eines besseren belehrt worden.

  3. Wolfgang Website sagt:

    Natürlich weiß Herr Keese das alles (sogar das mit der „no snippets“-Option), siehe hier. Er zieht aber die falschen Schlüsse daraus.

  4. […] And then there is the robots.txt of course…), claim that journalists writing for their newspapers have equally highlighted the pros and cons of the law. […]

  5. […] Siehe zu robots.txt auch diesen Blogeintrag auf SEO-united.de […]

  6. Farnam Karazma Website sagt:

    Immer wieder faszinierend wie solche Lobby-Dummschwätzer die Massen für sich mobilisieren. Im Grunde können die Verlage es sich doch nicht leisten bei Google nicht gelisted zu werden, dann könnten die doch ihre Website gerade einstampfen. Klasse finde ich auch das man immer nur gegen Google schießt. Machen Bing und Co. was anderes?

    Die suchen nur ne schnelle einfache Möglichkeit Geld zu kassieren. Sonst nix. Normal müsste die Politik sich mal kurz 5 min. beraten lassen und den Verlagen dann den Stinkefinger zeigen für solch dummen Vorschläge.

    An Googles Stelle hätte ich die Zeitungen einfach mal 1-2 Tage aus dem Index geworfen dann wäre das Thema ruck Zuck vom Tisch. Nachteil: Dann schimpfen wieder alle auf Google weil die machen was die Verlage wollten.

    Fazit: Wie man es macht ist es verkeht 😀 Aber recht geschehen würde es den Verlagen.

  7. Korrupt Website sagt:

    Nee, ich bin auch überzeugt, dass Keese das gut weiß und bewusst lügt. Er kommt ja damit durch, wie auch der Rest der überregionalen Blätter mit ihrer Desinformationskampagne durchkommen und dem Totschweigen der MPI-Studie zum Thema. Klar zerlegen sie damit ihre Glaubwürdigkeit und genau die Werte, die sie hochzuhalten propagieren, aber eben nur bei der Zielgruppe, die sich eh nicht mehr via Printabo informiert.

    Dass ein Springerknecht wie Keese lügt, wenn er den Mund aufmacht, wundert mich an sich auch wenig, dass sich seriöse überregionale Blätter hier derart unglaubwürdig machen, wo ihre Glaubwürdigkeit das einzige Pfund ist, mit dem sie wuchern können, das ist das eigentlich Beängstigende an der ganzen Sache.

  8. Inkompetenz oder Habgier? : Denis Simonet sagt:

    […] Nach den abenteuerlichen Ausführungen von letzter Woche in der SonntagsZeitung äussert sich der Verband Schweizer Medien auch heute äußerst realitätsblind […]

  9. Philipp Website sagt:

    Wie verlogen diese ganze Diskussion ist, zeigte sich 2011 in Belgien. Dort hatte der französischsprachige Verlegerverband Copiepresse erfolgreich gegen Google geklagt. Das Hauptargument in dem seit 2006 laufenden Verfahren war wie heute bei uns, dass die kommerzielle Nutzung von Inhalten vergütet werden müsse. Das belgische Gericht gab den Verlegern recht und verurteilte Google dazu, in Zukunft für jeden Artikel 25.000 Euro Strafe zahlen zu müssen, der in Google News aufgeführt würde. Google nahm daraufhin die betreffenden Zeitschriften aus seinem Suchindex heraus und dieselben Verleger schrieen nun, Google boykottiere ihre Internetseiten.

    Die Zeitschrift „La Libre Belgique“ beeilte sich zu erklären, dass es bei der Klage doch nur um den Dienst Google News ginge, gegen Einträge im Suchapparat habe man nichts. Natürlich nicht, denn das ist ja nicht nur kostenlose Werbung, sondern ohne Google findet man kaum noch etwas im Netz. Da nutzt es auch nicht viel, dass es noch zahlreiche andere Suchmaschinen im Netz gibt. Google hat nun einmal den Löwenanteil am Markt und das Verb „googeln“ hat es als neudeutsches Wort sogar bis in den Duden geschafft.

    Durch die belgische Geschichte wird aber auch deutlich, dass die Verleger zwar auf der einen Seite an den Umsätzen beteiligt werden wollen, auf der anderen Seite aber einen kostenlosen Service durchaus zu schätzen wissen. Das ist auch der Grund, warum die Verlage ihre Möglichkeiten nicht nutzen wollen, Google für die Webseite per robots.txt blind zu machen. Verlinkt werden wollen sie ja schon. Es ist eben keine einseitige Sache, bei der nur Google die Erträge absahnt, sondern es ist auch zum Nutzen der Verlage, wenn ihre Schlagzeilen hervorgehoben werden. Und das gilt auch für Google News.

    Letzten Endes sind Verleger und Google beide nur daran interessiert, dass die Kasse mächtig klingelt. Die Anstrengungen der schwarz-gelben Regierung hierzulande ein Leistungsschutzrecht durchzuboxen, beantwortet Google mit einer großen Gegenkampagne. Die Sprecherin des Bundesverbandes Deutscher Zeitungsverleger (BDZV), Anja Pasquay, wirft Google daraufhin Panikmache vor. Das Suchen und Finden von Informationen werde dadurch nicht behindert, da ja die private Nutzung und Verlinkung weiterhin möglich sind.

    Stellt sich die Frage, wer denn dann Anspruch auf die Vergütung der News hat. Nur die Zeitungsmoguln oder auch der kleine Blogger? Würde dann grundsätzlich alles vergütet, was in der Rubrik Google News auftaucht? Oder verschwinden dann Bild und Co aus dieser Rubrik? Das belgische Vorbild sollte dem BDZV zu denken geben. Denn Google kann tatsächlich alle und alles an- oder ausschalten.

Kommentieren

Loading Disqus Comments ...

Ihre Agentur noch nicht dabei?

Ihr Job noch nicht dabei?

Ihr Beitrag noch nicht dabei?