Im Google-WebmasterHelp-Kanal wurde heute ein interessantes Video veröffentlicht, dem ich einen eigenen Blogpost geben möchte. Matt Cutts spricht über die „Google Rater“ (engl. „rate“ heißt nicht „raten“, sondern „bewerten“ ;-)). Das Ganze hat viel mit der Frage zu tun, wie Google zu qualitativen Suchergebnissen kommt. Eine Frage, die mich hier im Blog schon mehrfach beschäftigt hat (siehe: Meine kleine Content-Farm – oder: was ist Qualität? oder Google sucht nach Content-Qualität – aber wie?). Matt erklärt, dass es zwei Arten der „human Rater“ gibt: die eine Gruppe gehört zum Google Webspam-Team, das Matt selber leitet . Diese „Quality Rater“ sind dazu da, Spam-Seiten, die durch den Algo geflutscht sind und sich in den vorderen Suchergebnissen tummeln, manuell herauszufischen und mit einer Penalty (Strafe) in den Suchergebnissen nach hinten zu verschieben.

In dem Video geht es aber um eine zweite Gruppe von „Ratern“: diejenigen, die Google helfen, um Algo-Veränderungen zu überprüfen (sog. „Search Quality Evaluation Team„, also „diejenigen, die die Qualität der Suchergebnisse überprüfen„). Diese Rater werden von Google für ihre Arbeit bezahlt. Matt spricht von „hunderten„.

Die Rater haben im Prinzip zwei Aufgaben: Zunächst einmal bewerten sie grundsätzlich Websites und halten diese Bewertungen fest. Immer wenn eine Algo-Änderung gemacht wird, überprüft man dann, ob dadurch mehr gut bewertete Seiten nach vorne kämen und gleichzeitig die schlecht bewerteten Seiten tatsächlich nach hinten wandern. Falls ja, ist das ein Signal, dass die Algo-Änderung gut war.

Die zweite Methode geht so: eine Gruppe von Technikern überlegt, wie man den Algorithmus verbessern könnte. Dafür bauen sie einen „Test-Algorithmus“, den sie dann intern (in so einer Art „Rater-Intranet“ tatsächlich anwenden. Die Rater sehen dann also diese neuen Suchergebnisse. Diese Ergebnisse werden dann von ihnen bewertet, und die Techniker – und / oder die Entscheider – ziehen dann ihre Erkenntnisse daraus.

Google arbeitet dafür dann mit dem A-B-Test Verfahren. Dafür werden den Ratern zwei Ergebnislisten angezeigt. Eine davon ist die ursprüngliche, die andere wurde mit dem veränderten Algo generiert. Die Rater bewerten dann die beiden Listen – allerdings ohne zu wissen, welche Liste alt und welche neu ist (sog. Blind-AB-Test). Wenn sich in dem Verfahren zeigt, dass die Rater mehrheitlich die neuen Ergebnisse besser finden, wird dass Ganze zu einem „live-Test„. Dabei wird der veränderte Algo für eine kleine Gruppe von Usern live sichtbar. Wie diese Gruppe zustande kommt, weiß ich nicht. Aber ich war selber mal in so einer „Live-Test-Gruppe – siehe Neues Feature in Google’s Bildersuche: Suchvorschläge mit Vorschau. Das war seinerzeit ganz schön verwirrend ;-)

Hier das Video, in dem Matt das Ganze noch mal erklärt (in Englisch):

Google Qualität ist Mehrheits-Mainstream (bzw. soll sein!)

Das Video bestätigt, was ich schon mehrfach angedeutet habe (und was sowieso logisch ist ;-)): Google kann Qualität nur aus quantitativen Signalen ermitteln. Überspitzt formuliert kann man auch sagen: Google-Qualität ist Mainstream. Wer sich um Suchmaschinenoptimierung bemüht, sollte das nie aus dem Auge verlieren. Die eigene Meinung, was qualitativ hochwertiger Content sei, ist völlig belanglos (!!!). Entscheidend ist, ob man einschätzen kann (oder messen oder analysieren), was die Masse der Menschen für qualitativ hochwertig hält. Und zwar bezogen auf jedes einzelne Keyword!

Aber ich muss das gleich wieder einschränken. Denn im Grunde wird aus dem Video eine sehr erhebliche Schwäche des Prinzips deutlich: Matt spricht von einigen „hundert“ Ratern. Aber die Meinung dieser Rater, zumal wenn sie bezahlt werden, sind sicherlich keine wirklich statistisch belastbare Größe für – naja, letztlich für „Menschheit“. Matt gibt das indirekt auch zu, und schränkt deswegen auch ein: man nimmt die Daten der Rater zwar sehr Ernst, aber letztlich entscheiden doch andere.

Und das wiederum zeigt, dass Google in letzter Konsequenz nur aus den Live-Ergebnissen und der Art, wie die User sie benutzen, wirklich belastbare Daten ziehen kann! Und daraus wiederum folgt, dass große Updates auch tatsächlich mal groß schief gehen können. Und dann rudert Google wieder zurück, wie schon oft erlebt. Also: als Seo ist man gut beraten, die User-Signale auszuwerten und Ernst zu nehmen. Dann wird das auch mit Google klappen :-)

Weiterlesen…

• Grundsätzliches zu Backlinks: das Prinzip der Empfehlung
• Wie funktioniert Google? Video: Inside Google’s Search Office
• Analyse meiner Sichtbarkeitverluste: Pinguin, Panda und Co.