Por mucho que parezca que en Internet tenemos acceso a todo lo que queramos, los buscadores tradicionales sólo ofrecen acceso a una pequeña parte de lo que existe online (web superficial o visible). Lo demás es la web profunda o
invisible, un amplio banco de información ubicado en catálogos, revistas digitales, blogs,
entradas a diccionarios y contenido de sitios que demandan un login (aunque sea gratuito) y otros
tipos de contenido que no aparecen entre los resultados de una búsqueda convencional.
A continuación, os voy a hablar de ello.
Web Superficial o visible
Son todos aquellos sitios cuya información puede ser
indexada por los
robots de los buscadores convencionales y recuperada casi en su totalidad mediante una consulta
en sus formularios de búsqueda.
Sus principales
características son:
- Su información no está contenida en bases de datos
- Es de libre acceso
- No se requiere la realización de un proceso de registro para acceder a la información.
- Mayoritariamente está formada por páginas Web estáticas
Web Profunda o invisible
Es toda la información disponible en Internet que
no se recupera con los buscadores convencionales. Generalmente es información
almacenada y accesible mediante bases de datos.
Según Lluis Codina: “Internet invisible es un nombre claramente inadecuado para referirse al sector de sitios y de páginas web que no pueden indizar los motores de búsqueda de uso público. Debería denominarse, en realidad,
la web "no indizable", lo cual es un término mucho más adecuado”.
Hay cuatro tipos de contenidos invisibles:
- La Web opaca
Compuesta por archivos que, si bien
podrían estar incluidos en los
índices de los buscadores, no lo están por alguno de los siguientes motivos:
- Extensión de la indización (por economía)
- Frecuencia de la indización: los buscadores no poseen la capacidad de indizar todas las
páginas existentes
- Número máximo de resultados visibles: generalmente limitan el número de documentos
que se muestran
- URL desconectadas: las generaciones más recientes de buscadores, presentan los
documentos por relevancia basada en el número de veces que aparecen referenciados
en otros. Si un documento no tiene un link a él, desde otro documento, será imposible
que la página sea encontrada, pues no se encuentra indizada.
- La Web privada
Consiste en las páginas web que podrían estar indizadas en los
buscadores pero
son excluidas deliberadamente por alguno de estos motivos:
- Las páginas están protegidas por contraseñas.
- Contienen un archivo “robots.txt” para evitar ser indizadas.
- Contienen un campo “noindex” para evitar que el buscador pueda indizar la parte
correspondiente al cuerpo de la página.
- La Web propietaria
Incluye aquellas páginas en las que
es necesario registrarse para tener
acceso al contenido, ya sea de forma gratuita o arancelada.
- La Web realmente invisible
Se compone de páginas que no pueden ser indizadas por
limitaciones técnicas de los buscadores, programas ejecutables y archivos comprimidos,
páginas generadas dinámicamente, es decir, que se generan a partir de datos que
introduce el usuario, información almacenada en bases de datos relacionales, que no
puede ser extraída a menos que se realice una petición específica
Algunos de los recursos de búsqueda en la Web Profunda:
-
The WWW Virtual Library se considera el catálogo más antiguo en la web y fue iniciado
por Tim Berners-Lee, el creador de la web.
-
Infoplease es una Web de consulta con más de 57.000 artículos de la prestigiosa
enciclopedia Columbia. Facilita la consulta de información con opciones de búsqueda por
términos o por áreas de conocimiento. Es posible acceder a un buen número de
enciclopedias, atlas, y biografías.
-
DeepWebTech ofrece cinco motores de búsqueda para temas específicos. Los motores de
búsqueda abarcan la ciencia, medicina y negocios.
-
TechXtra centra su información, en ingeniería, matemáticas e informática.