Aunque ningún autor niega la valía de estos dos índices, presentan ciertas limitaciones como instrumentos de evaluación del proceso de búsqueda y recuperación de información.

Encontramos la primera de ellas, y también la más evidente, en el índice de recuperación; hablar de hasta qué punto hemos podido recuperar todos los documentos relevantes que se encuentran en el sistema implica partir de la premisa de que conocemos cuántos documentos relevantes hay.

Si hablamos de un sistema controlado y conocemos todos los documentos que lo constituyen, entonces sí podemos evaluar de manera exacta cuántos documentos relevantes no hemos sido capaces de recuperar.

Sin embargo, e indudablemente, esto no es posible cuando nos enfrentamos a sistemas cuya cantidad de información no permite determinar cuántos de los ítems que incluyen pueden ser relevantes para nuestra consulta. Sin duda, el mejor ejemplo actual de esta imposibilidad es Internet.

Por otra parte, también se argumenta en contra de estos indicadores que, a pesar de que pueden ser representativos de las características de un proceso de búsqueda y recuperación de información, no son los únicos elementos que sirven para su valoración final. Aspectos como el tiempo y el coste que debemos invertir en la consulta de un sistema de recuperación de información son algunos de los elementos que también es necesario tener en cuenta en el momento de hacer una evaluación. (¿Qué valoración puede hacerse de una base de datos que permita ser muy exhaustivo mediante unas estrategias de búsqueda altamente complejas?)

Otro tipo de críticas a estos índices hace referencia a su importancia relativa en el momento de valorar un sistema de recuperación de información. En este sentido, se trata de responder a la pregunta siguiente: para un usuario, ¿qué es más importante: un gran nivel de exhaustividad o un gran nivel de precisión?

La respuesta sería que depende del usuario, o dicho de otro modo, que depende de la necesidad de información del usuario. Para algunos usuarios es mejor un alto nivel de precisión, aunque esto implique sacrificar la exhaustividad (no es necesaria toda la información sobre el tema, basta con una proporción muy pequeña de la existente).

En este caso, el usuario valorará positivamente un sistema de recuperación que le permita obtener un resultado bajo, pero preciso, sobre lo que busca. En cambio, en el caso, por ejemplo, de un usuario que necesite conocer qué se ha publicado en los últimos años sobre un tema para hacer una tesis, se valorará más un resultado muy exhaustivo, aunque la precisión no sea muy elevada. Para su tranquilidad, en este caso el usuario preferirá asegurarse de que dispone de toda o casi toda la información.

Eso nos lleva al otro gran punto de vista de evaluación del proceso de búsqueda y recuperación de información: la valoración de la relevancia desde el punto de vista del usuario.