Jede Suchmaschine hat ihren eigenen geheimen Algorithmus. In einer idealen Welt würde nur guter und relevanter Content weit oben in den Ergebnissen auftauchen. In der echten Welt kommt der Content zuerst, dessen Urheber die Suchmaschinenanbieter dafür bezahlen. Oder sie bezahlen SEO-Spezialisten. Die optimieren den Content für die Crawler der Suchmaschinen. Entwickler (und alle anderen) können allerdings einige Kniffe anwenden, die nicht oder nur indirekt mit dem Content zusammenhängen.

Zum Beispiel können sie ein SSL-Zertifikat erwerben. SSL steht für Secure Sockets Layer und wird genutzt, um eine verschlüsselte Verbindung zwischen Server und Browser herzustellen. So wird sichergestellt, dass Daten, die zwischen Server und Browser fließen, privat bleiben. Websites mit SSL-Zertifikat könnt ihr an dem S in HTTPS:// erkennen. Google sagt, Sicherheit im Netz sei eine der höchsten Prioritäten der Firma, SSL-Zertifikate werden deshalb als Ranking-Signal betrachtet. Ihr könnt in Googles Domain-Hilfe nachlesen, wie ihr an ein SSL-Zertifikat kommt, solltet ihr noch keins haben.

Über eine XML-Sitemap können Crawler das Layout aka die Struktur eurer Website besser lesen und leichter navigieren. Außerdem zeigen Google und Co. den Nutzern dann auch Links zu Unterseiten eurer Website. Für viele CM-Systeme gibt es Plugins, die das für euch übernehmen, und für React gibt es ein XML-Sitemap-Modul. Bei Google findet ihr eine ausführliche Doku dazu. Die sitemap.xml müsst ihr anschließend nur noch uploaden.

Die robots.txt -Datei soll vor allem verhindern, dass zum Beispiel passwortgeschützte Bereiche eures Webauftritts gecrawlt werden. Dafür müsst ihr einfach nur ein disallow: gefolgt von dem URL-String, der ignoriert werden soll, einfügen. Aber sie taugt eben auch dafür, die Crawler auf eure Sitemap aufmerksam zu machen.

Wenn ihr für die unterschiedlichen Crawler der verschiedenen Websites unterschiedliche Regeln aufstellen wollt, müsst ihr eurer robots.txt-Datei einfach ein User-agent: googlebot für Googles Crawler beziehungsweise User-agent: bingbot für Bings Crawler voranstellen. Wer Regeln für alle Crawler definieren will, macht das über einen *.
Eine einfache robot.txt-Datei sieht etwa so aus:

User-agent: *
Crawl-delay: 240
Sitemap: /sitemap.xml
Disallow: /dashboard/
Disallow: /static/
Disallow: /api/
Disallow: /embed/

Einen Crawl-Delay (im Beispiel 240 Millisekunden) könnt ihr hinzufügen, um den Crawler 240 Millisekunden warten zu lassen, bevor er anfängt, eure Seite zu crawlen. Der Grund? Wenn ihr in eurer index.html viele Seiten habt, besteht generell die Gefahr, dass ein Crawler zu viele Requests in zu kurzer Zeit an eure Seite stellt. Der so entstehende kurze Traffic-Peak könnte potenziell eure Hosting-Ressourcen überschreiten. Der Crawl-Delay verhindert das und wahrt so die Performanz eurer Website. Das ist auch aus SEO-Gründen wichtig, weniger performante Websites werden niedriger in den Suchergebnissen gelistet. Der Googlebot zum Beispiel ist aber mittlerweile in der Lage, automatisch zu erkennen, ob ein Webserver ausgelastet ist und ignoriert den Crawl-Delay.

Ladegeschwindigkeit ist seit Jahren eine der Metriken, nach denen der Google-Crawler die Relevanz einer Website beurteilt. Außerdem besteht eine asymmetrische Korrelation zwischen Ladezeiten und Verweildauer: Je schneller die Seite lädt, desto länger bleiben die Nutzer. Auch das bezieht der Algorithmus mit ein.

Über dieses Thema könnte man ein Buch schreiben – das ist nicht der Plan, deshalb hier ein paar Quickfixes für euch:

• Minifiziert die Dateien der Build-Version eurer Website
• Optimiert die Größe eurer Bilder und nutzt Lazyloading
• Trennt euch von unnötigen Plugins und Scripts
• Wechselt zu einem schnelleren Hosting-Anbieter

Die braucht ihr, damit überhaupt eine Chance besteht, dass eure Website als Rich Snippet in den Ergebnissen dargestellt wird. Rich Snippets sind sehr prominent ganz oben in den Suchergebnissen zu finden. Sie können die Click-Through-Rate um bis zu 500 Prozent steigern – aber auch zum Gegenteil führen: nämlich dann, wenn in den Snippets schon die ganze Info drin ist, die der User haben will und er in der Folge gar nicht klickt. Grundvoraussetzung für Rich Snippets ist aber ohnehin eine Positionierung unter den ersten Suchergebnissen.

Wenn das gegeben ist, könnt ihr für noch mehr Traffic die Elemente auf eurer Seite mithilfe von schema.org-Markup strukturieren. Structured Data gibt es für JSON-LD und weitere Formate, wobei JSON-LD als das am einfachsten zu wartende Format gilt. JSON-LD könnt ihr folgendermaßen <script type="application/ld+json" … ></script>als Script auf jeder eurer HTML-Seiten einfügen. Diese zusätzlichen Beschreibungen der einzelnen Entitäten eurer Website helfen den Crawlern der Suchmaschinen dabei, euren Content besser zu verstehen. Das Markup für alle Formate findet ihr unter schema.org, Beispiele gibt es bei jsonld.com, alternativ könnt ihr euch vom Quellcode anderer Websites inspirieren lassen. Eurer JSON-LD könnt ihr auch dynamische Daten hinzufügen. JavaScript-Objekte können mit JSON.stringify() zu JSON konvertiert werden.

Ob das Ganze für den Crawler lesbar ist, könnt ihr über Googles Testtool für strukturierte Daten ausprobieren. Einfach wahlweise die URL eurer Website oder den neu mit schema.org-Markup versehenen Code einfügen. Das Tool sagt euch dann, was der Crawler lesen kann und wo ihr nachbessern müsst.

Natürlich könnt ihr noch viel mehr machen. Zum Beispiel Google Search Console und Bing Webmaster Tools einrichten und die kleinen Fehler beheben, auf die euch die beiden Tools aufmerksam machen werden. Viel Spaß!