Hallo,

Google führt seit kurzem strengere Prüfungen für Websites durch.
Diese hatten z.B. auch zum zeitweiligen Ausschluß von www.bmw.de geführt.
Hier wegen Doorway Pages.
Ein anderes Ausschlußkriterium ist der sogenannte "Double Content" oder DC.
Wenn eine gleiche oder sehr ähnliche Webseite unter verschiedener URL
zu finden ist, handelt es sich um DC.

Da bei Nutzung des Static-Builder prinzipell alle Seiten sowohl im dynamischen Bereich (unter cgi-bin)
als auch statisch vorhanden sind, empfiehlt es sich den dynamischen Bereich für Suchmaschinen zu sperren.
Es kann nämlich leicht passieren, dass externe Links in den dynamischen Bereich führen und dieser
somit indiziert wird.
Bislang war das noch nie ein Problem und viele haben sich sogar gefreut, dass Ihre Site so oft vertreten ist
(site:www.meinshop.de). Aber insbesondere dann, wenn die Angabe bei "site:" die tatsächliche Anzahl von
Seiten erheblich übertrifft, ist Vorsicht geboten.

Es empfieht sich folgendes robots.txt im root-Verzeichnis.

User-Agent: *
Disallow: /cgi-bin/


Es fallen zwar dann i.d.R. einige Seiten raus. Diese sind aber ohnehin meist
weniger wertvoll und Sie können sicher DC ausschließen.

Wie gesagt, dies gilt nur für Nutzer des Static-Builders.

Gruss hop

Danke für die Warnung

wo genau muß ich das  User-Agent: *Disallow: /cgi-bin/ hinschreiben?

mfg
Woll-Insel

Hallo,

legen Sie eine neue Textdatei namens "robots.txt" an.
Dort hinein schreiben Sie dann das
User-Agent: *
Disallow: /cgi-bin/