Los motores de búsqueda tradicionales (Google, Yahoo, etc.)
sólo ofrecen acceso a una pequeña parte de lo que existe online, lo que se ha
comenzado a llamar la web superficial o visible. Lo que resta, la Web profunda,
es un amplio banco de información ubicado en catálogos, revistas digitales,
blogs, entradas a diccionarios y contenido de sitios que demandan un login
(aunque sea gratuito), entre otros tipos de contenido que no aparecen entre los
resultados de una búsqueda convencional.
¿Cómo se diferencian?
Bueno, la Web visible comprende todos aquellos sitios cuya información puede
ser indexada por los robots de los buscadores convencionales y recuperada casi
en su totalidad mediante una consulta a sus formularios de búsqueda. Entre las
características principales de estos sitios encontramos que su información no
está contenida en bases de datos, son de libre acceso (no hay que registrarse
para acceder), en general están formadas por páginas Web estáticas (páginas o
archivos con una URL fija y accesibles desde otro enlace.).
En contraste a la web visible, la Web invisible comprende toda la información
disponible en Internet que no es recuperada interrogando a los buscadores
convencionales. Generalmente es información almacenada y accesible mediante
bases de datos, que Si bien el 90% de estas bases de datos están públicamente
disponibles en Internet, los robots de los buscadores solamente pueden indicar
su página de entrada (homepage). La información almacenada es por consiguiente
"invisible" a estos.
Para poder acceder a la información disponible en las
bases de datos hay que hacer consultas a través de páginas dinámicas (ASP,
PHP...) es decir páginas que no tienen una URL fija y que se construyen en el
mismo instante (temporales) desapareciendo una vez cerrada la consulta.
Por cada millón de páginas visibles hay otros 500 o 550 millones ocultas,
contiene alrededor de unos 100.000 sitios y el 90% suele ofertar su información
pública y gratuitamente. La información pública y gratuita del Web invisible es
actualmente de 400 a 550 veces mayor que el Web visible.
Para poder entender un poquito más la diferenciación entre la web superficial y
la web profunda, citaremos una caracterización de la Web invisible o profunda
de Sherman y Price (2001), en la cual identifican cuatro tipos de contenidos
invisibles en la Web:
La Web opaca
La Web privada
La Web propietaria
Y la Web realmente invisible
La Web opaca: Se compone de archivos que no están incluidos en los motores de
búsqueda por alguna de estas razones:
Extensión de la indización
Frecuencia de la indización
Limitación del Número máximo de resultados visibles
URL’s desconectadas
La web privada: Se compone de archivos que no están incluidos en los motores de
búsqueda por alguna de estas razones:
Las páginas están protegidas por contraseñas (passwords).
Contienen un archivo “robots.txt” para evitar ser indizadas.
Contienen un campo “noindex” para evitar que el buscador
indice la parte correspondiente al cuerpo de la página.
Este segmento de la web no representa una gran pérdida
en términos de valor de la información que contiene, ya que se trata, en
general, de documentos excluidos deliberadamente por su falta de utilidad.
La Web propietaria: Incluye aquellas páginas en las que es
necesario registrarse para tener acceso al contenido, ya sea de forma gratuita
o paga. Se dice que al menos 95% de la Web profunda contiene información de
acceso público y gratuito.
La Web realmente invisible: Se compone de páginas que no pueden ser indizadas
por limitaciones técnicas de los buscadores, como las siguientes:
Páginas web que incluyen formatos como PDF, PostScript,
Flash, Shockwave, programas ejecutables y archivos comprimidos.
Páginas generadas dinámicamente, es decir, que se generan a
partir de datos que introduce el usuario.
Información almacenada en bases de datos relacionales.
Para tener en cuenta:
Algunos buscadores recuperan archivos PDF y páginas con
imágenes, aunque de forma limitada;
Es relativamente sencillo llegar hasta la “puerta” de las
bases de datos con contenido importante;
Existen ya motores avanzados capaces de realizar búsquedas
directas simultáneas en varias bases de datos a la vez; y aunque la mayoría
requieren de pago, también ofrecen versiones gratuitas;
El contenido que se genera en tiempo real pierde validez con
mucha velocidad, salvo para análisis históricos; es relativamente sencillo
llegar hasta la “puerta” de los servicios que ofrecen información en tiempo
real;
El contenido que se genera activamente interesa únicamente
a ciertos usuarios con características específicas.
