# robots.txt standard della rete (scripts_utils/robots-uniform.py, 17 set 2026).
# Non modificare a mano su un solo sito: cambia il template e rigeneralo su tutti.

# Bloccati del tutto
User-agent: PetalBot
User-agent: startmebot
User-agent: Bytespider
Disallow: /

# Pubblicita' contestuale: nessuna restrizione
User-agent: grapeshot
User-agent: Mediapartners-Google
Disallow:

# Tutti gli altri, motori di ricerca compresi
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /*?preview=
Disallow: /*?refresh_ce
Disallow: /*.swf$
Allow: /wp-admin/admin-ajax.php

# Bot SEO: tutto il sito tranne le sitemap. Ogni pagina di sitemap Yoast carica 1000 post in object
# cache (redis di D3 da 0 a 1,1 GB in 15 minuti il 17 set). I backlink si scoprono comunque dai link.
User-agent: AhrefsBot
User-agent: SemrushBot
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /*?preview=
Disallow: /*?refresh_ce
Disallow: /*.swf$
Allow: /wp-admin/admin-ajax.php
Disallow: /*sitemap*.xml

# Crawler AI: consentiti (Mar 2026), con le stesse regole wp
User-agent: GPTBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: PerplexityBot
User-agent: Google-Extended
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /*?preview=
Disallow: /*?refresh_ce
Disallow: /*.swf$
Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.investirmag.fr/sitemap_index.xml
Sitemap: https://www.investirmag.fr/google-news-sitemap.xml