| Aprenentatge per reforç | Codi: M2.983 : 6 |
L'objectiu del màster és la formació de professionals en la ciència de dades. Aquesta assignatura, específicament, es focalitza en els camps relacionats amb l'anàlisi, estadística avançada i l'aprenentatge automàtic (o machine learning).
A mesura que aquesta especialitat ha crescut i les empreses reconeixen la necessitat d'aquesta classe de perfils, també ho han fet les diferents sortides professionals:
- Científics de dades en departaments especialitzats d'anàlisi i estadística o en empreses externes que proporcionen aquesta classe de servei als seus clients.
- Responsables, caps de projecte o analistes en projectes de mineria o anàlisi de dades.
- Emprenedors, que desitgen crear negocis basats en la creació o la implantació de sistemes especialitzats de ciència de dades o d'algun dels seus components, així com productes i / o serveis basats en dades.
Alguns dels continguts d'aquesta assignatura s'han d'estudiar a partir de materials i recursos escrits en anglès.
Els objectius que es pretén que l'estudiant assoleixi mitjançant aquesta assignatura són els següents:
- Entendre el paradigma de l'aprenentatge per reforç (RL), així com les seves principals aplicacions i tipologia d'agents.
- Comprendre el funcionament i característiques dels principals components en un entorn de RL, incloent l'entorn, agent, funció de reward, accions i observacions.
- Conèixer les funcionalitats que ofereix l'eina OpenAI Gym per al desenvolupament, avaluació i comparació de diferents models de RL.
- Conèixer el funcionament i principals característiques dels models basats en Markov decision processes per a la resolució de problemes de RL.
- Conèixer el funcionament i principals característiques dels models basats en programació dinàmica per a la resolució de problemes de RL.
- Conèixer el funcionament i principals característiques dels models basats en mètodes Monte Carlo per a la resolució de problemes de RL.
- Conèixer el funcionament i principals característiques dels models basats en Temporal-Difference Learning per a la resolució de problemes de RL.
- Entendre com s'apliquen les xarxes neuronals i el deep learning per al desenvolupament d'agents en entorns de RL, així com les seves característiques i principals avantatges enfront d'altres mètodes.
El curs s'estructura en els següents blocs:
Introducció i conceptes bàsics
- Mòdul 1. Introducció a l'aprenentatge per reforç
- Mòdul 2. Introducció a OpenAI Gym
Soluciones tabulares
- Mòdul 3. Processos de decisió de Markov
- Mòdul 4. Programació dinàmica
- Mòdul 5. Mètodos de Monte Carlo
- Mòdul 6. Aprenentatge per diferència temporal
- Mòdul 7. n-step bootstrapping
Soluciones aproximadas
- Mòdul 8. Introducció a les solucions aproximades
- Mòdul 9. Deep Q-Networks
- Mòdul 10. Polítiques de gradient
- Mòdul 11. El mètodo del Actor-Crític
| Guia bàsica d'edició de vídeo | Web |
| Mètodes de diferència temporal | |
| Mètodes de Montecarlo | |
| Introducció a OpenAI Gym | |
| Deep Q-networks | |
| Processos de decisió de Markov | |
| Programació dinàmica | |
| El mètode actor-crític | |
| Introducció a l'aprenentatge per reforç | |
| Gradients de política | |
| Espai de recursos de ciència de dades | Web |
| Toolkit de gènere | Web |
| Introducció a les solucions aproximades | |
| N-step bootstrapping |
El procés d'avaluació es fonamenta en el treball personal de l'estudiant i pressuposa l'autenticitat de l'autoria i l'originalitat dels exercicis realitzats.
La manca d'autenticitat en l'autoria o d'originalitat de les proves d'avaluació; la còpia o el plagi; l'intent fraudulent d'obtenir un resultat acadèmic millor; la col·laboració, l'encobriment o l'afavoriment de la còpia, o la utilització de material, programari o dispositius no autoritzats durant l'avaluació, entre altres, són conductes irregulars en l'avaluació que poden tenir conseqüències acadèmiques i disciplinàries greus.
Aquestes conductes irregulars poden comportar el suspens (D/0) en les activitats avaluables que es defineixin en el pla docent -incloses les proves finals- o en la qualificació final de l'assignatura, sigui perquè s'han utilitzat materials, programari o dispositius no autoritzats durant les proves, com ara xarxes socials o cercadors d'informació a internet, perquè s'han copiat fragments de text d'una font externa (internet, apunts, llibres, articles, treballs o proves d'altres estudiants, etc.) sense la citació corresponent, o perquè s'ha dut a terme qualsevol altra conducta irregular.
Així mateix, i d'acord amb la normativa acadèmica, les conductes irregulars en l'avaluació també poden donar lloc a la incoació d'un procediment disciplinari i a l'aplicació, si escau, de la sanció que correspongui, de conformitat amb l'establert a la normativa de convivència de la UOC.
En el marc del procés d'avaluació, la UOC es reserva la potestat de:
- Sol·licitar a l'estudiant que acrediti la seva identitat segons l'establert a la normativa acadèmica.
- Sol·licitar a l'estudiant que acrediti l'autoria del seu treball al llarg de tot el procés d'avaluació, tant avaluació contínua com avaluació final, per mitjà d'una prova oral o els mitjans síncrons o asíncrons que estableixi la Universitat. Aquests mitjans tindran per objecte verificar els coneixements i les competències que garanteixin l'autoria; en cap cas no implicaran una segona avaluació. Si no és possible garantir l'autoria de l'estudiant, la prova serà qualificada amb D, en el cas de l'avaluació contínua, o amb un Suspens, en el cas de l'avaluació final.
A aquests efectes, la UOC pot exigir a l'estudiant l'ús d'un micròfon, una càmera o altres eines durant l'avaluació; és responsabilitat de l'estudiant assegurar que aquests dispositius funcionen correctament.
|
L'assignatura només es pot aprovar amb el seguiment i la superació de l'avaluació contínua (AC). La qualificació final de l'assignatura és la nota obtinguda a l'AC. |