| Aprendizaje por refuerzo | Código: M2.883 : 6 |
El objetivo del máster es la formación de profesionales en la ciencia de datos. Esta asignatura, específicamente, se focaliza en los campos relacionados con el análisis, la estadística avanzada y el aprendizaje automático (o machine learning).
A medida que esta especialidad ha crecido y las empresas reconocen la necesidad de esta clase de perfiles, también lo han hecho las diferentes salidas profesionales:
- Científicos de datos en departamentos especializados de análisis y estadística o en empresas externas que proporcionan esta clase de servicio a sus clientes.
- Responsables, jefes de proyecto o analistas en proyectos de minería o análisis de datos.
- Emprendedores, que desean crear negocios basados en la creación o la implantación de sistemas especializados de ciencia de datos o de alguno de sus componentes, así como productos y/o servicios basados en datos.
Algunos de los contenidos de esta asignatura deben estudiarse a partir de materiales y recursos escritos en inglés.
Los objetivos que se pretende que el estudiante alcance mediante esta asignatura son los siguientes:
- Entender el paradigma del aprendizaje por refuerzo (RL), así como sus principales aplicaciones y tipología de agentes.
- Comprender el funcionamiento y características de los principales componentes en un entorno de RL, incluyendo el entorno, agente, función de reward, acciones y observaciones.
- Conocer las funcionalidades que ofrece la herramienta OpenAI Gym para el desarrollo, evaluación y comparación de diferentes modelos de RL.
- Conocer el funcionamiento y principales características de los modelos basados en Markov decision processes para la resolución de problemas de RL.
- Conocer el funcionamiento y principales características de los modelos basados en programación dinámica para la resolución de problemas de RL.
- Conocer el funcionamiento y principales características de los modelos basados en métodos Monte Carlo para la resolución de problemas de RL.
- Conocer el funcionamiento y principales características de los modelos basados en Temporal-Difference Learning para la resolución de problemas de RL.
- Entender cómo se aplican las redes neuronales y el deep learning para el desarrollo de agentes en entornos de RL, así como sus características y principales ventajas frente a otros métodos.
El curso se estructura en los siguientes bloques:
Introducción y conceptos básicos
- Módulo 1. Introducción al aprendizaje por refuerzo
- Módulo 2. Introducción a OpenAI Gym
Soluciones tabulares
- Módulo 3. Procesos de decisión de Markov
- Módulo 4. Programación dinámica
- Módulo 5. Métodos de Monte Carlo
- Módulo 6. Aprendizaje por diferencia temporal
- Módulo 7. n-step bootstrapping
Soluciones aproximadas
- Módulo 8. Introducción a las soluciones aproximadas
- Módulo 9. Deep Q-Networks
- Módulo 10. Políticas de gradiente
- Módulo 11. El método del Actor-Crítico
| Métodos de Montecarlo | |
| Métodos de diferencia temporal | |
| Introducción a OpenAI Gym | |
| Deep Q-networks | |
| Procesos de decisión de Markov | |
| Programación dinámica | |
| El método actor-crítico | |
| Introducción al aprendizaje por refuerzo | |
| Gradientes de política | |
| Introducción a las soluciones aproximadas | |
| N-step bootstrapping |
El proceso de evaluación se fundamenta en el trabajo personal de cada estudiante y presupone la autenticidad de la autoría y la originalidad de los ejercicios realizados.
La falta de autenticidad en la autoría o de originalidad de las pruebas de evaluación; la copia o el plagio; el intento fraudulento de obtener un resultado académico mejor; la colaboración, el encubrimiento o el favorecimiento de la copia, o la utilización de material o dispositivos no autorizados durante la evaluación, entre otras, son conductas irregulares que pueden tener consecuencias académicas y disciplinarias graves.
Por un lado, si se detecta alguna de estas conductas irregulares, puede comportar el suspenso (D/0) en las actividades evaluables que se definan en el plan docente - incluidas las pruebas finales - o en la calificación final de la asignatura, ya sea porque se han utilizado materiales o dispositivos no autorizados durante las pruebas, como redes sociales o buscadores de información en internet, porque se han copiado fragmentos de texto de una fuente externa (internet, apuntes, libros, artículos, trabajos o pruebas del resto de estudiantes, etc.) sin la correspondiente citación, o porque se ha practicado cualquier otra conducta irregular.
Por el otro, y de acuerdo con las normativas académicas, las conductas irregulares en la evaluación, además de comportar el suspenso de la asignatura, pueden dar lugar a la incoación de un procedimiento disciplinario y a la aplicación, si procede, de la sanción que corresponda.
La UOC se reserva la potestad de solicitar al estudiante que se identifique o que acredite la autoría de su trabajo a lo largo de todo el proceso de evaluación por los medios que establezca la universidad (síncronos o asíncronos). A estos efectos, la UOC puede exigir al estudiante el uso de un micrófono, una cámara u otras herramientas durante la evaluación y que este se asegure de que funcionan correctamente.
La verificación de los conocimientos para garantizar la autoría de la prueba no implicará en ningún caso una segunda evaluación.
|
La asignatura solo puede aprobarse con el seguimiento y la superación de la evaluación continua (EC). La calificación final de la asignatura es la nota obtenida en la EC. |