Deep learning Codi:  M2.975    :  6
Consulta de les dades generals   Descripció   L'assignatura en el conjunt del pla d'estudis   Camps professionals en què es projecta   Coneixements previs   Informació prèvia a la matrícula   Objectius i competències   Continguts   Consulta dels recursos d'aprenentatge de què disposa l'assignatura   Informacions sobre l'avaluació a la UOC   Consulta del model d'avaluació  
Aquest és el pla docent de l'assignatura per al segon semestre del curs 2023-2024. Podeu consultar si l'assignatura s'ofereix aquest semestre a l'espai del campus Més UOC / La universitat / Plans d'estudis). Un cop comenci la docència, heu de consultar-lo a l'aula. El pla docent pot estar subjecte a canvis.

Des dels inicis de la intel·ligència artificial (IA) s'ha somiat amb màquines capaces de "pensar" de manera semblant a com ho fem els éssers humans. Lluny d'aconseguir aquest ambiciós objectiu, en les últimes dècades i anys hem vist com es van aconseguir superar importants reptes en àmbits o problemes molt concrets. Per exemple, el 1997 l'ordinador Deep Blue d'IBM va ser capaç de guanyar als escacs al campió mundial Garry Kasparov. Encara saber jugar correctament als escacs és un problema molt complex per als éssers humans, aquest es regeix per una sèrie de normes estrictes i en un entorn molt delimitat i perfectament especificat. Això fa que el que és una tasca complexa (o molt complexa) per a una persona, sigui una tasca "fàcil" d'implementar en un computador. Els computadors, per regla general, es manegen bé en els escenaris formals. És a dir, escenaris tancats, regits per regles i amb un conjunt d'actors finit.

Per contra, algunes de les accions més elementals i intuïtives per als humans, com ara reconèixer una persona, un animal o un objecte, poden ser tasques tremendament complexes de resoldre per a un computador. La principal dificultat rau en el fet que, en aquests casos, no és fàcil formalitzar els conceptes abstractes que apareixen en aquests escenaris. Definir formalment els conceptes abstractes relacionats amb aquests escenaris és terriblement complex. La representació dels conceptes esdevé un punt clau en la implementació de models, i en el cas dels conceptes abstractes, la complexitat de la tasca dificulta enormement que pugui ser implementat mitjançant els models d'IA clàssics.

A causa de la dificultat per introduir aquest tipus de coneixement a priori en els models, s'ha optat per utilitzar models que siguin capaços d'extreure el seu propi coneixement a partir de les dades. Aquesta àrea s'ha anomenat aprenentatge automàtic o machine learning. Hi ha multitud de tècniques i models que permeten aprendre a partir d'un conjunt de dades, com ara models de regressió, arbres de decisió o les màquines de vectors suport (SVM, support vector machine). En molts casos, els models són capaços d'aprendre patrons a partir de les dades, però no són capaços d'aprendre conceptes abstractes i complexos a partir d'aquestes dades.

El concepte de deep learning (o aprenentatge profund) apareix com un subconjunt, dins de l'aprenentatge automàtic, on es persegueix crear models que siguin capaços de representar conceptes complexos i / o abstractes a partir de conceptes més senzills. És a dir, el model és capaç de crear de forma automàtica una jerarquia de conceptes, començant per conceptes simples, i anar barrejant aquests conceptes més simples per anar creant conceptes cada vegada més complexos. Això permet definir conceptes abstractes com composicions de conceptes molt més simples. Quan aquesta jerarquia de conceptes té múltiples capes, parlem de la "profunditat" del model. És aquí on apareix el concepte d'aprenentatge profund o deep learning.

Tot i que actualment s'associa el concepte de deep learning amb les xarxes neuronals, hi ha altres models d'aprenentatge automàtic que també són capaços de compondre conceptes a partir d'una jerarquia de conceptes més simples. Tot i això, en aquesta assignatura ens centrarem en les diferents varietats de xarxes neuronals profundes, concreatemente xarxes neuronals convolucionals (CNN, convolutional neural networks) i xarxes recurrents (RNN, recurrent neural networks), que actualment representen l'estat de l'art en deep learning.

Amunt

Aquesta assignatura pertany al conjunt d'assignatures optatives dins del Màster universitari en Ciència de dades (Data Science).

Amunt

L'objectiu del màster és la formació de professionals en la ciència de dades. Aquesta assignatura, específicament, es focalitza en els camps relacionats amb l'anàlisi d'imatges i de seqüències (com per exemple text o sèries temporals) emprant algoritmes d'aprenentatge profund (o deep learning), en concret xarxes neuronals convolucionals i xarxes neuronals recurrents.

Amunt

Per a la realització d'aquesta assignatura es pressuposen coneixements de programació (principalment en llenguatge Python), així com coneixements de mineria de dades o aprenentatge automàtic (machine learning).

Es recomana haver cursat l'assignatura "Models Avançats de Mineria de Dades" abans de cursar aquesta assignatura.

A més, com la metodologia inclou estudis de casos i la investigació autònoma d'informació, és aconsellable que l'estudiant estigui familiaritzat amb la recerca de fonts d'informació, l'anàlisi de la informació quantitativa i qualitativa, la capacitat de sintetitzar i obtenir conclusions així com de posseir certes habilitats de comunicació escrita.

Finalment, donada la naturalesa de l'assignatura, és necessari utilitzar eines, materials addicionals i procediments descrits en llengua anglesa, de manera que un nivell bàsic de lectura i comprensió de textos tècnics és imprescindible.

Amunt

Alguns dels continguts d'aquesta assignatura s'han d'estudiar a partir de materials i recursos escrits en anglès.

Amunt

Els objectius que es pretén que l'estudiant assoleixi mitjançant aquesta assignatura són els següents:

  • Entendre el funcionament de les xarxes neuronals artificials, així com dels seus principals paràmetres i diferents arquitectures.
  • Conèixer i saber aplicar els principals mètodes d'optimització en xarxes neuronals, com ara el tunning de hiper-paràmetres, el dropout, funció d'entropia creuada, mètodes de regularització, etc.
  • Conèixer els diferents tipus d'acte-encoders, així com el seu funcionament, arquitectures i objectius principals.
  • Entendre el funcionament, els components i l'estructura d'una xarxa neuronal convolucional (CNN).
  • Conèixer les principals arquitectures de xarxes neuronals convolucionals, com ara la ResNet o Inception.
  • Entendre el funcionament, els components i l'estructura d'una xarxa neuronal recurrent (RNN).
  • Conèixer les principals arquitectures de xarxes neuronals recurrents.

Amunt

Part I. Introducció

1. Introducció i contextualització

  • Què és Deep Learning?
  • Contextualització de les xarxes neuronals

2. Conceptes bàsics d'aprenentatge automàtic

  • Tipologia de mètodes
  • Tipologia de tasques
  • Preprocesament de dades
  • Dades d'entrenament i test
  • Avaluació de models

Part II. Xarxes neuronals artificials

3. Principis i fonaments

  • Les neurones
  • Arquitectura d'una xarxa neuronal
  • Entrenament d'una xarxa neuronal
  • El problema de la desaparició del gradient

4. Optimització del procés d'aprenentatge

  • Tècniques relacionades amb el rendiment de la xarxa
  • Tècniques relacionades amb la velocitat del procés d'aprenentatge
  • Tècniques relacionades amb el sobreentrenament

5. Autoencoders

  • Estructura bàsica
  • Entrenament d'un autoencoder
  • Pre-entrenament utilitzant autoencoders
  • Tipus de autoencoders

Part III. Xarxes neuronals convolucionals

6. Introducció i conceptes bàsics

  • Visió per computador
  • L'operació de convolució
  • Avantatges derivades de la convolució

7. Components i estructura d'una CNN

  • La capa de convolució
  • Altres capes de les CNN
  • Estructura d'una xarxa neuronal convolucional

8. Arquitectures de CNN

  • Xarxes convolucionals clàssiques
  • Residual Networks (ResNet)
  • Inception

Part IV. Xarxes neuronals recurrents

10. Fonaments de les xarxes recurrents

  • Concepte de recurrència
  • Tipus de xarxes neuronals recurrents
  • Entrenament d'una xarxa neuronal recurrent

11. Tipologia de cel·les recurrents

  • Long Short Term Memory (LSTM)
  • Gated Recurrent Unit (GRU)

12. Arquitectures de xarxes recurrents

  • Xarxes neuronals recurrents bidireccionals
  • Xarxes neuronals recurrents profundes
  • Arquitectura codificador-descodificador
  • Mecanisme d'atenció

Amunt

Espai de recursos de ciència de dades Web
Test quizzie Moodle Web
Introducció a l'anàlisi de sèries temporals PDF
3. Fonaments de les xarxes neuronals convolucionals PDF
Models generatius PDF
2. Les xarxes neuronals artificials PDF
5. Xarxes neuronals recurrents PDF
1. Introducció al deep learning PDF
Transformadors PDF
4. Arquitectures i aplicacions de les xarxes neuronals convolucionals PDF

Amunt

El procés d'avaluació es fonamenta en el treball personal de l'estudiant i pressuposa l'autenticitat de l'autoria i l'originalitat dels exercicis realitzats.

La manca d'autenticitat en l'autoria o d'originalitat de les proves d'avaluació; la còpia o el plagi; l'intent fraudulent d'obtenir un resultat acadèmic millor; la col·laboració, l'encobriment o l'afavoriment de la còpia, o la utilització de material o dispositius no autoritzats durant l'avaluació, entre d'altres, són conductes irregulars que poden tenir conseqüències acadèmiques i disciplinàries greus.

D'una banda, si es detecta alguna d'aquestes conductes irregulars, pot comportar el suspens (D/0) en les activitats avaluables que es defineixin en el pla docent –incloses les proves finals– o en la qualificació final de l'assignatura, sigui perquè s'han utilitzat materials o dispositius no autoritzats durant les proves, com ara xarxes socials o cercadors d'informació a internet, perquè s'han copiat fragments de text d'una font externa (internet, apunts, llibres, articles, treballs o proves d'altres estudiants, etc.) sense la citació corresponent, o perquè s'ha practicat qualsevol altra conducta irregular.

De l'altra, i d'acord amb les normatives acadèmiques, les conductes irregulars en l'avaluació, a més de comportar el suspens de l'assignatura, poden donar lloc a la incoació d'un procediment disciplinari i a l'aplicació, si escau, de la sanció que correspongui.

Amunt

L'assignatura només es pot aprovar amb el seguiment i la superació de l'avaluació contínua (AC). La qualificació final de l'assignatura és la nota obtinguda a l'AC.

 

Amunt