# robots.txt für https://www.uebersetzerin-koeln.de/
# Ziel: Maximale Indexierung & Crawl-Effizienz

User-agent: *
Allow: /
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /private/
Disallow: /admin/
Disallow: /*?sessionid=
Disallow: /*?PHPSESSID=
Disallow: /*.php$
Disallow: /*.asp$
Disallow: /*.aspx$

# Sitemap für Suchmaschinen
Sitemap: https://www.uebersetzerin-koeln.de/sitemap.xml

# --- Spezifische Crawler-Hinweise ---
# Googlebot – unbegrenzt, aber präzise
User-agent: Googlebot
Allow: /
Disallow: /private/
Crawl-delay: 1

# Bingbot – etwas sanfter, aber ebenfalls frei
User-agent: Bingbot
Allow: /
Crawl-delay: 2

# Yandex, Baidu, etc. – frei, aber mit Delay zur Server-Schonung
User-agent: Yandex
Allow: /
Crawl-delay: 5
User-agent: Baidu
Allow: /
Crawl-delay: 5

# --- Optional: zusätzliche Hinweise ---
# Diese Direktive verhindert Indexierung von technischen Duplikaten
Clean-param: sessionid
Clean-param: PHPSESSID