Du hast eine Frage? Stell sie der t3n-Community!

? Beispielfragen

Um selbst eine Frage online zu stellen, melde dich bitte an.

Zur Anmeldung

« zurück zur Übersicht

Disallow: /*.html$ in robots.txt

8 Punkte

4 Antworten

von t3nf4n  Rookie  vor über 2 Jahren

Ich habe vor einigen Wochen CoolURL in Typo3 installiert. Um schnellstmöglichst die neuen URLs in Form der Verzeichnisstruktur indizieren zu lassen, habe ich in der robots.txt die Anweisung geschrieben, dass keine HTML-Dokumente mehr indiziert werden sollen. Nun teilt mir Webmaster Tools mit, dass über 200.000 HTML-Dokumente durch die robots.txt gesperrt wurden. Die besagte Seite hat jedoch nur ca. 1200 Seiten von denen ca. 750 mit der neuen URL indiziert wurden.

Habe ich hier etwas falsch gemacht? Hat noch jemand diese Erfahrung gemacht?

Nachträglich bearbeitet am 22.03.10 08:05

Kommentare

Melde dich an, um einen Kommentar zu schreiben.

4 Antworten

2 Punkte

von no5251  Geek  vor über 2 Jahren

Ist tt_news oder etwas ähnliches installiert? Jeder Eintrag erzeugt einen neuen URL.

Nachträglich bearbeitet am 18.03.10 11:12

Kommentare

  • t3nf4n: Nein tt_news ist nicht installiert. In den Webmaster Tools sind folgende Seiten in solcher Form deaktiviert bzw. durch dir robots.txt gesperrt:

    seitenname.de/.extern/xyz.html

    Ich bin mit meinem Latein am Ende. Mittlerweile sind mehr als 280.000 Seiten durch die robots.txt gesperrt. Obwohl nur etwa 1200 Seiten real existieren.

    vor über 2 Jahren

Melde dich an, um einen Kommentar zu schreiben.

TEAM

2 Punkte

von macx  Alpha Geek  vor über 2 Jahren

Warum hast du die .html-Dateien denn gesperrt? Auch wenn du keine hast, lass sie doch einfach weiter zu. Letzendlich entscheidet doch dein CMS (hier TYPO3), welche Seite wie verlinkt ist. Denn durch die .htaccess sollten doch eh alle Zugriffe zentral ins TYPO3 führen.

Nachträglich bearbeitet am 22.03.10 11:08

Kommentare

  • t3nf4n: Im Grunde stimmt da ja auch. Ich wollte nur, dass nach der Umstellung die alten *.html-Einträge in den SERPs verschwinden und es zu einer schnelleren Indizierung kommt.

    vor über 2 Jahren

Melde dich an, um einen Kommentar zu schreiben.

0 Punkte

von milkstyle  Geek  vor über 2 Jahren

Hast du irgendwelche SEO-Extensions installiert?
Schau mal ob nicht an anderer Stelle etwas auf die robots.txt greift.

Kommentare

  • t3nf4n: Nein, es sind keine SEO-Extensions installiert. Auf die robots.txt greift nur der GoogleBot.

    vor über 2 Jahren

Melde dich an, um einen Kommentar zu schreiben.

0 Punkte

von ling  Nerd  vor über 2 Jahren

Mal ganz blöd gefragt:

  • Ist dein Projekt auf eine Domain begrenzt? Mit oder ohne www?
  • Sind die Seiten auch über index.php?id=whatever erreichbar?
  • Hast du eine Sitemap angelegt?

Kommentare

  • t3nf4n: Nein, Umleitung von http:// auf http://www.. per 301
    Ja, die Seiten sind per id erreichbar
    Sitemap ist drin

    vor über 2 Jahren

Melde dich an, um einen Kommentar zu schreiben.

Antwort schreiben

Um eine Antwort schreiben zu können, sollest du dich zuvor anmelden.

Zur Anmeldung

« zurück zur Übersicht