Conceptos fundamentales del aprendizaje por refuerzo: exploración, políticas y funciones de valor

MatemáticasActualizado el 4,25 KB

Resumen

El texto presenta conceptos esenciales del aprendizaje por refuerzo: el dilema entre exploración y explotación, la notación de políticas deterministas y estocásticas, la diferencia entre estado y observación en MDP y POMDP, y la relación entre las funciones de valor V y Q. El documento se interrumpe antes de completar la ecuación de Bellman.

Puntos clave

  • El dilema exploración-explotación exige equilibrio: explorar demasiado retrasa la convergencia y explotar demasiado puede dejar al agente en una política subóptima.
  • Explorar en este contexto significa probar decisiones alternativas para mejorar la política, no recorrer nuevas partes del espacio de estados.
  • Una política determinista se escribe π(s) = a, mientras que una estocástica π(s,a) da la probabilidad de ejecutar la acción a en el estado s.
  • En un MDP el agente observa el estado completo; en un POMDP solo recibe observaciones parciales o ruidosas del estado.
  • La propiedad de Markov requiere que el estado actual contenga toda la información relevante; con observaciones parciales no se cumple directamente.
  • La relación entre valores es V^π(s) = Σ_a π(a|s) Q^π(s,a), y se cumple especialmente con políticas deterministas.

Ponte a prueba

Conceptos Esenciales en el Aprendizaje por Refuerzo (RL)

El Aprendizaje por Refuerzo (RL) se basa en varios pilares teóricos que definen cómo un agente interactúa y aprende de su entorno. A continuación, se detallan algunos de los conceptos fundamentales que rigen la toma de decisiones y la representación del conocimiento en RL.

El Dilema Exploración-Explotación

En el dilema exploración-explotación, el equilibrio es crucial para la convergencia del agente:

  • Exploración Excesiva: Si el sistema explora demasiado, dedica mucho tiempo a probar acciones nuevas sin explotar lo que ya ha aprendido. Esto puede generar un bajo rendimiento durante muchas iteraciones e incluso impedir que el agente converja a una política óptima.
  • Explotación Excesiva: Si el sistema explota demasiado, es decir, solo elige las acciones que considera mejores hasta el momento, corre el riesgo de quedarse atrapado en una política subóptima, ya que no probará acciones que podrían resultar mejores a largo plazo.

En ambos casos, el sistema no converge correctamente. Es importante señalar que el concepto de “explorar” en este contexto no es idéntico a “explorar el entorno”. En este dilema, explorar significa tomar decisiones alternativas o menos conocidas para mejorar el conocimiento de la política, mientras que explorar el entorno se refiere a desplazarse por nuevas partes del espacio de estados. Aunque están relacionados, no son lo mismo.

Notación de Políticas en RL

La notación $\pi$ representa la política del agente en un estado dado. La forma en que se expresa depende de si la política es determinista o estocástica:

  • Política Determinista: $\pi(s)$ devuelve directamente la acción que el agente debe tomar en ese estado. Por ejemplo, si el estado es $s$, la política determinista produce una acción específica $a$, es decir, $\pi(s)=a$.
  • Política Estocástica: $\pi(s,a)$ se refiere a una política estocástica, que indica la probabilidad de ejecutar la acción $a$ cuando el agente está en el estado $s$. En este caso, $\pi(s,a)$ devuelve un valor entre 0 y 1, representando dicha probabilidad.

Por lo tanto, $\pi(s)$ se interpreta como una acción concreta, mientras que $\pi(s,a)$ indica la probabilidad de tomar una acción específica en un estado dado.

Diferencia entre Estado y Observación

En aprendizaje por refuerzo, estado y observación no siempre son lo mismo:

  • Entorno Totalmente Observable (MDP): En un Proceso de Decisión de Markov (MDP), el agente tiene acceso completo al estado del entorno, por lo que la observación coincide con el estado.
  • Entorno Parcialmente Observable (POMDPs): En entornos parcialmente observables (POMDPs), el agente solo recibe una observación parcial del estado real. En estos casos, el estado representa la situación completa del entorno, mientras que la observación es solo una información incompleta o ruidosa sobre ese estado.

Esta diferencia tiene una implicación directa sobre la propiedad de Markov, que establece que el futuro depende únicamente del presente y no del pasado. Para que esta propiedad se cumpla, es necesario que el estado actual contenga toda la información relevante. Si solo se dispone de observaciones parciales, la propiedad de Markov no se cumple directamente.

Relación entre Funciones de Valor V y Q

La función de valor de estado $V^\pi(s)$ y la función de valor de acción-estado $Q^\pi(s,a)$ están intrínsecamente relacionadas.

La función $V^\pi(s)$ coincide con $Q^\pi(s,a)$ cuando la acción $a$ es la que la política $\pi$ tomaría en el estado $s$. En general, se puede expresar la relación como:

$$V^\pi(s) = \sum_a \pi(a|s) Q^\pi(s,a)$$

Esta relación se cumple especialmente cuando la política es determinista.

La ecuación de Bellman para políticas estocásticas expresa el valor de un estado como la suma de los valores esperados de recompensa inmediata y de los valores futuros, ponderados por la probabilidad de tomar cada acción. La ecuación completa es:

Descargar

PDF Word HTML

Preguntas frecuentes

¿Qué es el dilema exploración-explotación en aprendizaje por refuerzo?

Es la tensión entre probar acciones nuevas o menos conocidas para mejorar la política (exploración) y elegir las acciones que ya se consideran mejores (explotación). Un equilibrio adecuado es necesario para que el agente converja.

¿Cuál es la diferencia entre estado y observación en RL?

En un MDP el agente tiene acceso completo al estado, por lo que observación y estado coinciden. En un POMDP el agente solo recibe una observación parcial o ruidosa del estado real.

¿Qué significa π(s) frente a π(s,a)?

π(s) indica directamente la acción que toma el agente en el estado s en una política determinista. π(s,a) es la probabilidad de ejecutar la acción a en el estado s en una política estocástica.

Ponte a prueba

Tarjetas de repaso

Pulsa una tarjeta para ver la respuesta.

Test

1. ¿Qué ocurre si un agente explora en exceso?
2. ¿Qué representa π(s,a) en una política estocástica?
3. ¿Por qué no se cumple directamente la propiedad de Markov en un POMDP?
4. ¿Cuándo se cumple especialmente la relación V^π(s) = Σ_a π(a|s) Q^π(s,a)?
5. ¿Qué diferencia hay entre explorar en el dilema exploración-explotación y explorar el entorno?

Preguntas generadas con IA a partir del documento: comprueba las respuestas con el texto.