Nachdem sich unser Newsfeed in den [acronym=SERP]Search Engine Result Page[/acronym]`s wiederfand und sogar über den eigentlichen HTML Seiten gerankt war, habe ich mir Gedanken gemacht, wie ich diesen Umstand abwenden kann. Auf meinen Streifzügen durch das Internet habe ich bemerkt, dass viele Blogger mit diesen Problem zu kämpfen haben. Ich möchte hier ein paar Lösungsansätze aufzeigen , da der gemeine Nutzer eigentlich nichts mit dem [acronym=XML]Extensible Markup Language[/acronym]-Code anzufangen weiß und somit diesen auch nicht angezeigt bekommen sollte.
Fangen wir also mit der einfachsten Möglichkeit an. Ein Eintrag in die robots.txt, die die Suchmaschinen daran hindert den Feed aufzunehmen.
User-agent: *
Disallow: /feed
Diese trivale Lösung ist allerdings aus Suchmaschinen-Optimierungssicht nicht sonderlich geeignet, da der Feed somit komplett ausgeschlossen wird und der damit verbundene Traffic somit verloren geht.
<link rel="alternate nofollow" type="application/rss+xml" title="Visualhype" href="http://visualhype.de/feed/" />
Die Methode mittels nofollow, ist aus SEO-Sicht allerdings auch nicht viel besser. Das sauberste Ergebnis liefert ein Eintrag in die Apache-Config unter einem vhost oder einfach in der .htaccess Datei.
RewriteCond %{HTTP_REFERER} ^.*google.*$ [OR]
RewriteCond %{HTTP_REFERER} ^.yahoo.*$
RewriteRule ^feed/{0,1}$ http://visualhype.de/ [L,R=307]
In diesem Ausschnitt überprüfen wir zuerst, ob der Referer von Google oder Yahoo kommt. Ist das der Fall, wird noch überprüft, ob unser Besucher auf den Newsfeed zugreift. Da in unserem Feed nichts anderes zu finden ist als auf der Startseite (alternate), verweisen wir doch einfach auf diese.
Die beiden Modifikatoren in der RewriteRule sollten angegeben werden. Das L sorgt dafür, dass alle nachfolgenden Anweisungen nicht noch ausgeführt werden – warum auch, wir haben unser Ziel mit dieser Rule ja erreicht. Der Response Code 307 bedeutet, dass unsere Seite temporär weitergeleitet wird. 301, was der Ein oder Andere an dieser Stelle vielleicht schonmal gesehen hat, ist hier unpassend. Da wir Suchmaschinen so in dem Glauben lassen, unser Feed ist für immer in die Wurzel umgezogen.
Meine RewriteCond`s sind nicht gerade vollständig. Wer diese Möglichkeit nutzen möchte, sollte sich eine größere Liste von Suchmaschinen besorgen und als RewriteCond benutzen.
Auch die Angaben aller Listings sind sehr auf Visualhype zugeschnitten. Der Artikel soll nur die Möglichkeiten aufzeigen und muss entsprechend der Gegebenheiten angepasst werden.
Hallo,
das kommt mir doch irgendwie sehr bekannt vor
Gerade durch den außergewöhnlichen 307′er Returncode – [url=http://www.im-web-gefunden.de/2005/12/27/feed-url-aufrufe-aus-suchmaschinen-umleiten/]hier [/url] gibt es sowohl ‘ne Cond mit mehr Suchmaschinen und ‘der Diskussion warum 307.
Hallo Thomas,
mir fällt gerade auf, hier fehlt noch ein Stück Dokumentation. Ich habe mir einen [i]kleinen[/i] BBParser geschrieben, der aber größtenteils die Standardbefehle benutzt.
Zum Thema. Ich habe mir von diversen Quellen – wie auch Deinem Blog – Informationen zum Thema geholt und anschließend einen zusammenfassenden Artikel geschrieben. Unter Anderem habe ich auch die HTTP-Referenz genutzt. Man möge es nicht glauben, aber ich habe mich mit dem Protokoll auch schon etwas tiefgehender beschäftigt. Die Möglichkeit mit dem 307er Fehlercode fand ich ganz Ok zum Veröffentlichen.
Zum Einen hat man dadurch eine Temporäre Weiterleitung, aber in Logfiles ist es besser zu finden als bspw. der 302er wie Du auch geschrieben hast.
Eins noch zu Deinem Kommentar. In deinem Artikel deckst Du doch lediglich User von der T-Online Suche mit ab.
Hallo,
das mit der fehlenden Doku solltest Du wirklich nachholen – es war schon etwas frustrierend – gerade beim 2. Kommentar.
Das sollte nicht heißen, daß Du Dich nicht damit beschäftigt hast. Aber mit Backlinks und noch besser Trackbacks machst Du nicht nur Deinen Blog bekannter, sonders umgehst das Problem, daß Dir vielleicht jemand was unterstellen kann.
… und beachte yahoo gleich gar nicht
Die ganze Sache entstand damals aus einer Logfileanalyse und ein paar Rückwärtstests. Nach wie vor sind für mich die T-Online-Besucher am Schlimmsten dranne – da sie auf die Google-Ergebnisse aufsetzen. Google bringt bei mir mehr als 70% an Traffic – also werde ich mich um diesen Besucherkreis besonders kümmern. MSN und yahoo spielen weniger eine Rolle und sind noch nie über eine Feed-URL reingekommen. Deshalb tauchen sie nicht auf.
Hallo,
die Doku habe ich nur für das CMS vollständig erstellt. Kommt aber wirklich bald für jedermann in den Kommentaren. Bis dahin sei nochmal der Hinweis gesagt, dass einfache BB-Code Anweisungen auch funktionieren. Im Prinzip habe ich nur einen erweiterten Sprachumfang geschaffen.
Trackbacks für unseren Blog ist auch geplant. Da die Software aber nicht von der Stange ist, sondern selbst geplant und erstellt wurde, ist eine Erweiterung nicht einfach mittels Plugin möglich
Den meisten Traffic verursacht bei uns ebenfalls Google. Da Yahoo bei meiner Suchmaschinen-Favoritenliste an 2. Stelle steht, habe ich sie auch ins Listing übernommen und nicht das utopische T-Online, was wie Du schon sagtest eh nur auf dem Google Ergebnissen aufbaut.
Noch schnell ein Kommentar zu Deinen Rules, welche ich eher suboptimal finde, da Du Google Traffic z.B. nur mit der Subdomain "www" zum Weiterleiten animierst.
Google benutzt mittlerweile auch nur noch die Subdomain www. Früher war es so, daß die Ergebnisseiten automatisch von der Subdomain www kamen und heute gibt es sofort einen redirekt auf www wenn man nur google.de eingibt. Oder hast Du andere Erkenntnisse?
Ok, da hast Du recht, dass es einen Redirect auf die Subdomain [b]www.[/b] gibt.
Ich könnte jetzt zwar behaupten, dass Google noch weitere Subdomains wie z.B. die Blogsuche hat, aber das würde den Rahmen des Themas an dieser Stelle sprengen.
Bei diesem Punkt muss ich klein bei und Dir Recht geben.
Na, na …
blogsearch ist ja der Auslöser des Ganzen weil sie keine eigene Botkennung benutzen. Aber die User von dort kommen nicht auf einem feed an, da blogsearch den Feed zur Indizierung braucht aber dann nur die normale URL ausgibt.