A nosa axencia encárgase consultoría de busca orgánica para varios vendedores de SaaS da industria. Un cliente co que recentemente comezamos a traballar fixera unha práctica bastante estándar, colocando a súa aplicación nun subdominio e trasladando o seu sitio de folletos ao dominio principal. Esta é unha práctica estándar, xa que permite ao seu equipo de produción e ao seu equipo de mercadotecnia realizar actualizacións segundo sexa necesario sen ningunha dependencia do outro.
Como primeiro paso para analizar o estado da súa busca orgánica, rexistramos tanto os folletos como os dominios da aplicación en administradores web. Foi entón cando identificamos un problema inmediato. Os motores de busca impedían a indexación de todas as páxinas da aplicación. Navegamos cara á súa entrada robots.txt en administradores web e identificamos o problema ao instante.
Mentres se preparaban para a migración, o seu equipo de desenvolvemento non quería que o subdominio da aplicación se indexase mediante a busca, polo que prohibiron o acceso aos motores de busca. O ficheiro robots.txt é un ficheiro atopado na raíz do seu sitio - teudominio.com/robots.txt - que permite ao motor de busca saber se deben ou non explorar o sitio. Podes escribir regras para permitir ou non permitir a indexación en todo o sitio ou camiños específicos. Tamén podes engadir unha liña para especificar o ficheiro do teu sitio.
o Robots.txt O ficheiro tiña a seguinte entrada que impedía que o sitio se rastrexase e indexase nos rankings dos resultados da busca:
Axente de usuario: * Non permitir: /
Debería estar escrito do seguinte xeito:
Axente de usuario: * Permitir: /
Este último proporciona permiso a calquera motor de busca que rastrexe o sitio para que poida acceder a calquera directorio ou ficheiro do sitio.
Estupendo ... entón agora que o robots.txt o ficheiro é perfecto, pero como sabe Google e cando volverán comprobar o sitio? Ben, pode absolutamente solicitar que Google comprobe o seu robots.txt, pero non é demasiado intuitivo.
Desprácese ata a Consola de busca de Google Consola de busca ao Explorador> probador robots.txt. Verá o contido do ficheiro robots.txt rastrexado máis recentemente dentro do probador. Se desexa enviar de novo o ficheiro robots.txt, faga clic en Enviar e aparecerá unha ventá emerxente con algunhas opcións.
A última opción é Pídelle a Google que actualice. Faga clic no botón azul Enviar xunto a esa opción e logo volva á páxina Explorador> probador robots.txt opción de menú para recargar a páxina. Agora debería ver o ficheiro robots.txt actualizado xunto cun selo de data que mostra que se rastrexou de novo.
Se non ves unha versión actualizada, podes facer clic en enviar e seleccionalo Ver a versión cargada para navegar ao seu ficheiro robots.txt real. Moitos sistemas gardarán este ficheiro en caché. De feito, IIS xera este ficheiro dinámicamente en función das regras introducidas a través da súa interface de usuario. Probablemente terá que actualizar as regras e actualizar a caché para publicar un novo ficheiro robots.txt.
