Modelo probabilístico de recuperación de información: ventajas, desventajas y calidad de datos

InformáticaActualizado el 2,93 KB

Resumen

El documento presenta el modelo probabilístico de recuperación de información, que calcula la probabilidad de que un documento sea relevante para una consulta, y expone sus ventajas y desventajas frente al modelo vectorial. También aborda la planificación de fuentes de datos, los criterios de calidad de datos y los requisitos de un crawler, la aplicación que recorre sistemáticamente las páginas web para indexarlas.

Puntos clave

  • El modelo probabilístico calcula la probabilidad de que un documento sea relevante a una consulta y asigna pesos positivos o negativos a los términos.
  • Asume la independencia de términos, un supuesto que también comparte el modelo vectorial.
  • Entre sus ventajas está ordenar los resultados por relevancia; entre sus desventajas, ser poco intuitivo y computacionalmente costoso.
  • El modelo BM25, una variación del probabilístico, sí normaliza por la longitud del documento y tiene en cuenta la frecuencia del término.
  • La calidad de datos abarca consistencia, completitud, limpieza, integridad, validez, veracidad y utilidad.
  • Un crawler debe ser robusto y respetuoso con las políticas de los servidores, como el fichero robots.txt y la frecuencia de visitas.

Ponte a prueba

Modelo Probabilístico

Modelo Probabilístico: Calcula la probabilidad de que un documento sea relevante a una consulta.

  • Asume la independencia de términos: P(york) = P(york|new); P(pie) = P(pie|apple).
  • Asigna pesos a los términos:
    • Positivo: Es probable que el documento sea relevante.
    • Negativo: Es probable que el documento no sea relevante.

Ventajas y Desventajas

Ventajas

  • Ordena los resultados por relevancia.
  • Sigue un razonamiento matemático basado en probabilidades, lo que permite que tenga extensiones populares.

Desventajas

  • Poco intuitivo y resultados no siempre mejores que el vectorial (según Salton).
  • Teoría compleja y costosa computacionalmente en sucesivas iteraciones (dependen del conjunto inicial de documentos mostrados). Reacios a interactuar.
  • No es posible conocer al principio el conjunto de documentos relevantes.
  • Igual que el vectorial, presupone independencia de términos.
  • No normaliza por la longitud del término, no tiene en cuenta la frecuencia del término (el modelo BM25, que es una variación, sí lo hace).

Planificación

Consiste en identificar la fuente idónea teniendo en cuenta su utilidad para nuestro problema, veracidad, calidad y formato.

  1. Identifica el problema.
  2. Comienza con una muestra.
  3. Realizar un caso de estudio.
  4. Identificar necesidades de recolección, limpieza y agregación.

Calidad de Datos

  • Calidad: Consistente (coherente y uniforme), completa y limpia.
  • Integridad de datos: Sin pérdida de datos, datos incorrectos, contaminados, inconsistentes o duplicados.
  • Novedad: La afirmación es nueva para mí.
  • Validez: Fuente fiable, con autoridad y con información sobre su procedencia y cómo se ha transformado (data lineage).
  • Veracidad: Tiene tres dimensiones: objetividad, veracidad y credibilidad.
  • Utilidad: Si tiene un impacto sobre el objetivo de mi proyecto.

Crawler

Aplicación web para recorrer de forma sistemática las páginas web, para indexarlas (por ejemplo, para búsquedas) u otro propósito.

Requisitos de un Crawler

Debe ser:

  • Robusto: Asegurar su funcionamiento independientemente de los elementos que encuentren en los sitios y de su distribución (ej. evitar bucles).
  • Respetuoso: Con las políticas de los servidores (ej. fichero robots.txt, frecuencia de visitas, una conexión por host).

Es aconsejable que sea:

  • Distribuido y habitualmente con uso de threads.
  • Escalable.
  • Eficiente.
  • Extensible.

Descargar

PDF Word HTML

Preguntas frecuentes

¿Qué asume el modelo probabilístico de recuperación de información?

Asume la independencia de términos, es decir, que la presencia de un término no depende de la de otros, como P(york) = P(york|new). Este supuesto también está presente en el modelo vectorial.

¿Cuál es la principal ventaja del modelo probabilístico?

Permite ordenar los resultados por relevancia. Además, sigue un razonamiento matemático basado en probabilidades, lo que facilita sus extensiones populares.

¿Qué requisitos debe cumplir un crawler?

Debe ser robusto, asegurando su funcionamiento ante cualquier elemento o distribución de los sitios, y respetuoso con las políticas de los servidores, como robots.txt, la frecuencia de visitas y una conexión por host.

Ponte a prueba

Tarjetas de repaso

Pulsa una tarjeta para ver la respuesta.

Test

1. ¿Qué calcula el modelo probabilístico de recuperación de información?
2. ¿Qué supuesto comparten el modelo probabilístico y el vectorial?
3. ¿Qué variación del modelo probabilístico sí tiene en cuenta la frecuencia del término?
4. ¿Cuál es una desventaja del modelo probabilístico según el documento?
5. ¿Qué significa que un crawler sea respetuoso?
6. ¿Qué dimensiones tiene la veracidad según el documento?

Preguntas generadas con IA a partir del documento: comprueba las respuestas con el texto.