El funcionamiento de motores de búsqueda como Google se basa en el protocolo de robots.txt. Se trata de un archivo de texto, el estándar de exclusión de robots, que impide que los sistemas automáticos de estos buscadores indexen páginas web concretas -URLs-. Si se establecen excepciones en el archivo robots.txt, lo cual se puede hacer de forma manual por el administrador de un sitio web, se impide que un rastreador web indexe la URL, por lo que se dejará de reflejar en los resultados de búsquedas. Sorprendentemente, la página web del Boletín Oficial del Estado -BOE- ha comenzado a hacerlo con una enorme cantidad de indultos.

Si revisamos el archivo robots.txt de la página web del Boletín Oficial del Estado -BOE- encontraremos que están listadas cientos de URLs del órgano dependiente del Ministerio de la Presidencia, motivo por el cual, aunque estas publicaciones existen y siguen estando presentes en su web, no las podremos encontrar a través de los principales motores de búsqueda. Como podemos ver en este archivo robots.txt, los administradores de la web del Boletín Oficial del Estado -BOE- han establecido todo tipo de excepciones, casi todas ellas desde el año 1967 y, atentos, porque la mayoría de estas excepciones corresponden a indultos.

No estarán en Google, pero se pueden encontrar fácilmente

No sólo se han “ocultado” de los buscadores indultos concedidos en el año 1967, sino que una revisión al azar nos lleva a conocer resultados también, por ejemplo, de junio del pasado año 2008, año del cual se han establecido al menos tres excepciones que ocultan tres indultos. En una revisión más amplia por el archivo robots.txt de la página web del Boletín Oficial del Estado podemos encontrarnos con que han sido “enterrados” numerosos enlaces desde la década de 1970, y la mayoría de ellos son indultos. Una cuestión especialmente interesante es, sin duda, si los administradores de la web del Boletín Oficial del Estado son los que están retirando de los buscadores la información por iniciativa propia, o bien como resultado de la sentencia contra Google. En cualquier caso, es una consecuencia evidente del “derecho al olvido”.

Según explica nuestra fuente, la inclusión de excepciones en el archivo robots.txt del Boletín Oficial del Estado se lleva a cabo a través de la Agencia Estatal del Boletín Oficial del Estado, y bien podría ser la consecuencia de una solicitud por parte del afectado o los afectados, por parte de la Agencia Española de Protección de Datos, por parte del propio organismo que ordenó la publicación, o bien como iniciativa del propio BOE.

El resultado podría ser peor para los “afectados”

Lo que sí parece evidente es que tratar de desindexar URLs concretas puede ser poco efectivo, además de que podría dar lugar a consecuencias aún peores sobre los afectados. Y es que, aunque se consiga perder la visibilidad absoluta en un motor de búsqueda o en todos ellos, el archivo robots.txt puede ser revisado de forma pública, por lo que es posible conocer cuáles son las direcciones URL que han sido retiradas de forma manual y a propósito. Y es que, como recordábamos anteriormente, las excepciones del archivo robots.txt sólo impiden que una dirección concreta aparezca en los resultados de búsqueda, pero se sigue manteniendo intacta en la página web. Además, estas páginas establecidas como excepción para los robots pueden volver a ser indexadas con el tiempo, pero tomarían además una visibilidad mayor según el funcionamiento de los algoritmos de posicionamiento de Google.

Según hemos podido saber el Boletín Oficial del Estado está actuando en base a las recomendaciones de la Agencia Española de Protección de Datos y, además, no es el único organismo que se ha servido del estándar de exclusión de robots, sino que La Casa Real también tomó la misma iniciativa, en su momento, para eliminar de su sitio web todo rastro de Iñaki Undargarín, a pesar de que hay webs que mantienen intactas las URLs originales. Y es que, aunque está planteado con esta finalidad, evadir a los robots de los motores de búsqueda no supone aislar por completo la información, sino tan solo “una medida tomada a medias”.

Fuente: El Confidencial | adslzone