# Robots.txt - IX Incorporadora
# Construindo melhores experiências
# Site: https://ixincorporadora.com.br/

# ================================
# CONFIGURAÇÕES PARA TODOS OS CRAWLERS
# ================================

# Permitir acesso geral
User-agent: *
Allow: /

# ================================
# PÁGINAS E DIRETÓRIOS BLOQUEADOS
# ================================

# Arquivos administrativos WordPress
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/upgrade/
Disallow: /wp-content/backup*/
Disallow: /wp-content/backups/
Disallow: /wp-content/uploads/wpo/
Disallow: /wp-content/debug.log

# Páginas de sistema e configuração
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /logs/
Disallow: /.htaccess
Disallow: /error/
Disallow: /stats/

# Páginas comerciais e internas
Disallow: /simulador/
Disallow: /calculadora/
Disallow: /tabela-precos/
Disallow: /lista-precos/
Disallow: /proposta/
Disallow: /cotacao/
Disallow: /financiamento/
Disallow: /checkout/
Disallow: /carrinho/
Disallow: /pedido/
Disallow: /account/
Disallow: /login/
Disallow: /admin/
Disallow: /dashboard/
Disallow: /cliente/
Disallow: /corretor/

# Páginas de teste e desenvolvimento
Disallow: /test/
Disallow: /dev/
Disallow: /staging/
Disallow: /beta/
Disallow: /sandbox/

# Documentos comerciais e técnicos
Disallow: /*.pdf$
Disallow: /*.doc$
Disallow: /*.docx$
Disallow: /*.xls$
Disallow: /*.xlsx$
Disallow: /*.ppt$
Disallow: /*.pptx$
Disallow: /*.zip$
Disallow: /*.rar$

# Parâmetros de URL desnecessários
Disallow: /*?replytocom=
Disallow: /*?attachment_id=
Disallow: /*?s=
Disallow: /*?p=
Disallow: /*?preview=
Disallow: /*?ver=
Disallow: /*?ref=
Disallow: /*?utm_
Disallow: /*?fb_
Disallow: /*?gclid=
Disallow: /*?fbclid=

# Páginas duplicadas ou filtros
Disallow: /*?orderby=
Disallow: /*?filter=
Disallow: /*?sort=
Disallow: /*?categoria=
Disallow: /*?tipo=
Disallow: /*?preco=
Disallow: /*?metragem=
Disallow: /tag/
Disallow: /author/
Disallow: /date/
Disallow: /feed/

# URLs específicas para incorporadoras
Disallow: /vendas/
Disallow: /comissao/
Disallow: /tabela-vendas/
Disallow: /relatorio/
Disallow: /gestao/

# ================================
# CONFIGURAÇÕES ESPECÍFICAS PARA GOOGLEBOT
# ================================

User-agent: Googlebot
Allow: /wp-content/uploads/
Allow: /wp-includes/js/
Allow: /wp-includes/css/
# Permitir páginas importantes para imobiliária
Allow: /empreendimentos/
Allow: /blog/
Allow: /sobre/
Allow: /contato/
Allow: /investidor/
Crawl-delay: 1

# ================================
# CONFIGURAÇÕES PARA GOOGLE IMAGES
# ================================

User-agent: Googlebot-Image
Allow: /wp-content/uploads/
Allow: /empreendimentos/
Allow: /blog/

# ================================
# CONFIGURAÇÕES PARA BINGBOT
# ================================

User-agent: Bingbot
Crawl-delay: 1

# ================================
# CONFIGURAÇÕES PARA OUTROS CRAWLERS
# ================================

# SEMrush e ferramentas de SEO
User-agent: SemrushBot
User-agent: AhrefsBot
User-agent: MJ12bot
Crawl-delay: 2

# Crawlers sociais
User-agent: facebookexternalhit
User-agent: Twitterbot
User-agent: LinkedInBot
User-agent: WhatsApp
Allow: /

# Instagram (importante para imobiliárias)
User-agent: InstagramBot
Allow: /empreendimentos/
Allow: /blog/

# ================================
# IAs COM CONTROLE DE VELOCIDADE
# ================================

# Permite IAs mas com crawl-delay para controlar velocidade
User-agent: CCBot
Crawl-delay: 10

User-agent: GPTBot
Crawl-delay: 10

User-agent: ChatGPT-User
Crawl-delay: 10

User-agent: PerplexityBot
Crawl-delay: 10

# ================================
# CRAWLERS MALICIOSOS - BLOQUEADOS
# ================================

# Scrapers agressivos
User-agent: AhrefsBot/7.0
Disallow: /

User-agent: SemrushBot-SA
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: MJ12bot/v1.4.8
Disallow: /

# Crawlers maliciosos
User-agent: ia_archiver
Disallow: /

User-agent: ScoutJet
Disallow: /

User-agent: EmailCollector
Disallow: /

User-agent: EmailSiphon
Disallow: /

User-agent: WebBandit
Disallow: /

User-agent: EmailWolf
Disallow: /

# Scrapers de dados imobiliários
User-agent: PropertyBot
Disallow: /

User-agent: RealEstateBot
Disallow: /

User-agent: DataMiner
Disallow: /

# ================================
# SITEMAPS
# ================================

# Sitemap principal
Sitemap: https://ixincorporadora.com.br/sitemap.xml

# Sitemaps específicos (se existirem)
Sitemap: https://ixincorporadora.com.br/sitemap-posts.xml
Sitemap: https://ixincorporadora.com.br/sitemap-pages.xml
Sitemap: https://ixincorporadora.com.br/sitemap-empreendimentos.xml

# ================================
# CONFIGURAÇÕES ADICIONAIS
# ================================

# ================================
# NOTAS ESPECÍFICAS PARA INCORPORADORAS:
# ================================
# 1. Protege simuladores e calculadoras internas
# 2. Bloqueia scrapers de dados imobiliários
# 3. Permite redes sociais (Instagram, Facebook)
# 4. Otimizado para empreendimentos e blog
# 5. Controla IAs para evitar scraping de preços
# 6. Protege dados comerciais e de vendas
# ================================