Los webmasters y proveedores de contenido comenzaron a optimizar sus sitios para los motores de búsqueda a mediados de los años 90, cuando los primeros buscadores comenzaron a catalogar la naciente Internet. Inicialmente, todo lo que un webmaster necesitaba hacer era subir su dirección o URL a los buscadores, para que estos enviaran lo que se conoce como web crawler o araña, a que analizase su sitio, capturara enlaces a otras páginas, y almacenara esta información recabada en el índice del motor de búsqueda (ampliar información en Finding What People Want: Experiences with the WebCrawler). El proceso implicaba que la araña se descagara la página y la guardara en el servidor del buscador, donde un segundo programa, conocido como indexador, extraía información variada sobre ella, como las palabras que contenía y dónde se ubicaban, así como el peso y frecuencia de palabras específicas (palabras clave), y todos los enlaces que contuviese, los cuales serían analizados más tarde siguiendo este mismo método, y vuelta a empezar.
Muy pronto, los propietarios de sitios web comenzaron a darse cuenta del valor que tenía estar posicionado en los primeros puestos de los resultados de búsqueda, lo que daría origen al surgimiento de los SEO white hat y black hat. Según el analista Danny Sullivan, la expresión "search engine optimization" seguramente entró en uso en 1997 (ampliar información en Who Invented the Term "Search Engine Optimization"?).
Las primeras versiones de los algoritmos de búsqueda confiaban en la información proporcionada por los webmasters en los meta tags, o en ficheros índice para buscadores como ALIWEB. Los meta tags proporcionaban una guía sobre el contenido de cada página. Usar los datos de los meta tags para indexar páginas se hizo poco fiable, ya que el webmaster podía escoger palabras clave que realmente no tuvieran que ver con el contenido del sitio. Estos datos imprecisos, incompletos e inconsistentes insertados en los meta tags podía y de echo causaba que ciertas páginas aparecieran en resultados donde no era relevantes (ampliar información en Metacrap: Putting the torch to seven straw-men of the meta-utopia). Los proveedores de contenido también manipulaban ciertos atributos HTML en un intento por escalar puestos en el ranking de resultados (ampliar información en What is a tall poppy among web pages?).
Herramienta de Google para sugerencia de palabras clave
Recayendo en factores como la densidad de palabras clave las cuales estaban exclusivamente bajo el control del webmaster, los primeros motores de búsqueda sufrieron el abuso y manipulación de los rankings de resultados. Para proporcionar mejores resultados a sus usuarios, los buscadores tenían que adaptarse y asegurar que mostraban resultados de búsqueda relevantes, en vez de un montón de sitios web mantenidos por webmasters sin escrúpulos que no tenían conexión ninguna con la búsqueda introducida. Dado que el éxito y popularidad de un buscador lo determina su habilidad de producir resultados relevantes para cualquier búsqueda, permitir que éstos fueran falseados hacía que los usuarios se marcharan a otros motores de búsqueda más fiables. Por ello, los buscadores respondían desarrollando nuevos y más complejos algoritmos que tuvieran en cuenta factores adicionales que dificultaran la manipulación de los resultados por parte de los webmasters.
Los estudiantes de la Universidad de Stanford Larry Page y Sergey Brin desarrollaron "backrub", un buscador que se basaba en un algoritmo matemático para calcular la relevancia de los sitios web. El número calculado por el algoritmo, el PageRank, era función de la cantidad y calidad de los enlaces entrantes (ampliar información en The Anatomy of a Large-Scale Hypertextual Web Search Engine). El PageRank estimaba la probabilidad de que una página fuera alcanzada por un usuario navegando aleatoriamente por Internet, y que siguiera enlaces de una página a otra. En efecto, esto significa que algunos enlaces son más importantes que otros, por ello una página con alto PageRank es más probable que sea alcanzada por un usuario web.
Page y Brin fundaron Google en 1998. Google atrajo numerosos seguidores entre el creciente número de usuarios de Internet, a los que les encantaba su diseño sencillo. Factores ajenos a los sitios web (como el PageRank y el análisis de los vínculos) empezaron a ser considerados como vitales (como la frecuencia de palabras clave, los meta tags, los encabezados, los enlaces y la estructura del sitio) para evitar que Google fuera manipulado de la forma en que lo eran aquellos motores de búsqueda que solo consideraban la información proporcionada por los webmasters. A pesar de que el PageRank es más difícil de manipular, algunos webmasters que ya habían desarrollado técnicas como las granjas de enlaces, comenzaron a utilizarlas para favorecer sus posiciones en los resultados de Google. Muchos sitios se centraron en intermcabiar, comprar y vender enlaces, a menudo a gran escala. Algunas veces, esto provocaba que se creasen miles de stios web con el único propósito de hacer spamdexing o spam de enlaces (ampliar información en Link Spam Alliances).
Referencias
Esta sección del Manual de SEO ha sido traducida del artículo Search engine optimization de Wikipedia en inglés, con licencia CC-BY-SA. Esto quiere decir que puedes copiar este texto en tu sitio web, siempre que conserves esta nota y añadas un enlace a este post.
