Google definiert in seinen „Google Webmaster Guidelines“, welche auf deutsch so viel wie „Richtlinien“ bedeuten, was Webmaster durchführen können, damit deren Seiten besser indiziert beziehungsweise gecrawlt werden können. Daneben besitzen die Guidelines eine Liste über die Verfahren, welche Google als Verstöße gegen die Richtlinien ansieht und welche zur Abwertung oder gar zu einem Ausschluss der Webseite aus dem Google-Index führen. Die Richtlinien sind für alle Webseiten gültig, die sich auf dem Google-Index befinden. Normalerweise reicht es aus, wenn eine neue Webseite verlinkt wird, um vom Google Bot besucht und indiziert werden zu können. Daneben kann ein Konto in der Google Search Console angelegt werden.

Die Richtlinien stellen klar, dass eine Webseite gut strukturiert sein soll. Ebenfalls soll der Content den Inhalt der Seite so genau wie möglich wiedergeben. Google gibt auch Empfehlungen zum Thema Links. So soll jede Seite mit mindestens einem In-Link verfügbar sein, wobei die Gesamtzahl der Links einer Seite sich in einem „vernünftigen Maß“ bewegen soll. Findet der Bot auf einer Webseite zu viele Links, kann er diese Seite nicht vollständig durchforsten. Es empfiehlt sich daher, eine Übersichtsseite für alle Besucher einzurichten, die mögliche Unterseiten enthält. Alle wesentlichen Informationen sollten in Textform vorhanden sein.

Die technischen Richtlinien enthalten Kriterien zur Prüfung der veröffentlichten Webseiten. Alle Inhalte sollten darstellbar sein und nicht von anderen Funktionen behindert werden. Ein Bot sollte die Seite problemlos crawlen können, ohne von anderen Parametern in die Irre geführt zu werden. Die Seite sollte durch verschiedene Browser zu öffnen sein und die Ladezeit sich in einem Bereich bewegen, die einen schnellen Seitenzugriff ermöglicht.

Die Qualitätsrichtlinien der Guidelines geben Webmastern Gelegenheit, ihr Handeln genau zu überprüfen. Dies beinhaltet die präzise Aufforderung, die Webseite einzigartig, nützlich und attraktiv zu gestalten. Google nennt auch Handlungen, die ausdrücklich nicht empfohlen werden. Dazu gehören Linkaustauschprogramme, das Einfügen kopierter Inhalte anderer Webseiten oder das Anbringen verborgener Texte. Wurde eine Webseite tatsächlich von Google aus dem Index entfernt, kann durch ein „Reconsideration Request“ die erneute Prüfung der betreffenden Seite angestrebt werden, damit diese ggf. auch wieder indiziert werden kann.