Today, June 30, is the 20th anniversary of the robots.txt directive file, which was available to webmasters to prevent search engines from crawling their site pages. The robots.txt file was created by Martin Koster in 1994 while working at Nexor after problems crawling his site. All major search engines at the time, including WebCrawler, Lycos and Tavista, quickly adopted this file. Even after 20 years, all major search engines still support and use it.
Brian Yousry posted on his blog about the 20th anniversary and documented the most common errors in robots.txt. If implemented, these errors can be severely detrimental to your rankings and search marketing success. Translated from the source
DROPIDEA
Esperamos que este artículo te haya aportado valor real. En DROPIDEA, siempre nos esforzamos por ofrecer contenido de alta calidad que te ayude a crecer y evolucionar en el espacio digital. Síguenos para más artículos y guías útiles.
Admin
DROPIDEA
Últimos artículos
Una cadena de televisión libra una batalla judicial para recuperar 50 terabytes de su archivo digital
La nueva función de cámara de Google es exclusiva para los teléfonos Pixel 11
Una nueva versión más aterradora de la película «Expediente X» llega a Hulu
Samsung prepara los auriculares Galaxy H1 para competir con los AirPods Max
