# robots.txt — mettgorras.com # # Reemplaza al archivo genérico de Donweb, que estrangulaba la indexación con: # Crawl-delay: 60 -> 1 página por minuto # Request-rate: 6/60m -> 6 páginas por hora # Visit-time: 0300-1200 -> solo rastreable en una franja horaria # Disallow: /*? -> bloqueaba TODA URL con parámetros # # Google ignora Crawl-delay, pero Bing y Yandex no. Y `Disallow: /*?` sí # afectaba a Google: bloqueaba paginación, filtros y cualquier URL con query. User-agent: * Allow: / # Área de administración. admin-ajax.php debe quedar accesible: muchos # temas y plugins lo usan para cargar contenido en el front-end, y # bloquearlo hace que Google renderice las páginas incompletas. Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php # Archivos internos sin valor para buscadores Disallow: /wp-includes/ Disallow: /wp-content/plugins/ Disallow: /wp-content/cache/ Disallow: /trackback/ Disallow: /cgi-bin/ Disallow: /*.sql$ # Resultados de búsqueda interna: generan infinitas URLs de bajo valor Disallow: /?s= Disallow: /search/ # Los assets SÍ deben rastrearse. Si Google no puede leer el CSS y el JS # no puede renderizar la página y la evalúa como rota en móvil. Allow: /wp-content/uploads/ Allow: /*.css$ Allow: /*.js$ Allow: /*.webp$ Allow: /*.png$ Allow: /*.jpg$ Allow: /*.svg$ Sitemap: https://mettgorras.com/wp-sitemap.xml