|
||||||||||||||||||||||||||||||||||||||||||||||
Consulta de les dades generals Descripció L'assignatura en el conjunt del pla d'estudis Camps professionals en què es projecta Coneixements previs Objectius i competències Continguts Consulta dels recursos d'aprenentatge de la UOC per a l'assignatura Informacions sobre l'avaluació a la UOC Consulta del model d'avaluació | ||||||||||||||||||||||||||||||||||||||||||||||
Aquest és el pla docent de l'assignatura per al primer semestre del curs 2024-2025. Podeu consultar si l'assignatura s'ofereix aquest semestre a l'espai del campus Més UOC / La universitat / Plans d'estudis). Un cop comenci la docència, heu de consultar-lo a l'aula. El pla docent pot estar subjecte a canvis. | ||||||||||||||||||||||||||||||||||||||||||||||
Aquesta assignatura constitueix una introducció a les tecnologies relacionades amb els sistemes de Big Data. Iniciarem aquesta assignatura analitzant l'estructura tecnològica que es troba darrere d'un projecte de Big Data, i que inclou aspectes rellevants, com per exemple, el sistema d'emmagatzematge i càlcul distribuït o la gestió dels recursos del clúster. Continuarem veient els tres principals models de processament distribuït: processament batch, real-time o streaming i basat en esdeveniments complexos. Veurem les principals funcions i característiques dels frameworks més utilitzats en l'actualitat, prestant especial atenció als dos grans estàndards de la indústria: Apache Hadoop i Apache Spark. Finalitzarem aquesta assignatura revisant les principals llibreries d'anàlisi de dades, incloent temes d'aprenentatge automàtic (machine learning), anàlisi de grafs i visualització de dades massives. |
||||||||||||||||||||||||||||||||||||||||||||||
Aquesta assignatura pertany al conjunt d'assignatures optatives del Màster universitari en Ciència de dades (Data Science). |
||||||||||||||||||||||||||||||||||||||||||||||
L'assignatura proporciona coneixements que seran d'utilitat en diferents àmbits professionals, com són la programació de sistemes que requereixin l'ús de dades massius, la ciència de dades o la direcció o consultoria de projectes basats en sistemes Big Data, entre d'altres. |
||||||||||||||||||||||||||||||||||||||||||||||
El curs requereix que els estudiants tinguin coneixements de programació (preferiblement en llenguatge Python), així com coneixements d'anàlisi de dades, aprenentatge automàtic (machine learning) i xarxes de computadors. Es recomana haver cursat l'assignatura "Models avançats de mineria de dades" abans de cursar aquesta assignatura. A més, com la metodologia inclou estudis de casos i la investigació autònoma d'informació, és aconsellable que l'estudiant estigui familiaritzat amb la recerca de fonts d'informació, l'anàlisi de la informació quantitativa i qualitativa, la capacitat de sintetitzar i obtenir conclusions així com de posseir certes habilitats de comunicació escrita. Així mateix també cal que els estudiants tinguin la capacitat de llegir i comprendre l'idioma anglès ja que una part dels materials addicionals i altres recursos, estan en aquest idioma. |
||||||||||||||||||||||||||||||||||||||||||||||
Aquesta assignatura, dissenyada d'acord amb el Reial decret d'organització dels ensenyaments universitaris (RD 822/2021), permet desenvolupar els coneixements, les habilitats i les competències que es detallen a continuació:
Coneixements o continguts (Knowledge) ¿ K1 Comprendre el procés general o global d'un projecte de ciència o anàlisi de dades, incloent-hi la identificació de fonts de dades, la captura i l'emmagatzematge de dades, el processament i l'anàlisi d'aquestes i, finalment, la presentació dels resultats. ¿ K2 Identificar els punts crítics en un projecte de ciència o anàlisi de dades, així com les debilitats principals que puguin dificultar la finalització reeixida del projecte. ¿ K3 Identificar les fonts de dades rellevants per a un determinat projecte, fent èmfasi en la tipologia i el format de les dades. ¿ K4 Comprendre els mecanismes d'extracció i transformació de dades, ja sigui a partir d'una única font de dades o fent ús de múltiples de fonts de dades. ¿ K5 Identificar el sistema d'emmagatzematge de dades més adequat per a un determinat projecte o tipus d'informació. ¿ K7 Comprendre l'ampli ventall de tècniques, mètodes i eines disponibles per fer l'anàlisi de dades a partir d'un conjunt de preguntes de negoci o de recerca. ¿ K8 Conèixer les diferents tècniques i models per a la visualització de dades que permetin transmetre, de manera adequada al públic, la informació o els resultats d'un projecte de ciència de dades. Habilitats o destreses (Skills) ¿ S1 Conceptualitzar i dissenyar un flux de treball que permeti resoldre problemes específics a l'entorn d'un projecte de ciència de dades. ¿ S2 Integrar i gestionar bases de dades i sistemes demmagatzematge de dades dacord amb criteris ètics, tècnics i funcionals. ¿ S3 Analitzar, conceptualitzar, dissenyar i desenvolupar aplicacions basades en intel·ligència artificial per resoldre problemes específics en el context d'un projecte de ciència de dades. ¿ S4 Conèixer les diferents tècniques, mètodes, models i algorismes dins de la intel·ligència artificial que permeten la resolució de diferents tasques, considerant-ne els principals punts forts i les debilitats o problemes més rellevants. ¿ S5 Utilitzar de manera avançada els llenguatges de programació, les eines de desenvolupament i les tecnologies disponibles per a l'anàlisi, el disseny i la implementació d'aplicacions basades en intel·ligència artificial. ¿ S8 Analitzar i sintetitzar informació per avaluar solucions tecnològiques i elaborar propostes de projectes de ciència de dades, tenint en compte els recursos, les alternatives disponibles i les condicions de mercat. Competències (Competències) ¿ C2 Desenvolupar el pensament crític i autocrític a l'anàlisi, la conceptualització i el disseny de projectes de ciència de dades. ¿ C3 Dissenyar, desenvolupar i gestionar projectes de ciència de dades, adaptant-se a l'evolució de les tecnologies, els llenguatges de programació i les necessitats d'empreses, institucions i, en general, de la societat. La combinació d'aquests coneixements, destreses i competències es reflecteix en els resultats d'aprenentatge següents: ¿ Entendre els conceptes i les definicions formals associades als conceptes de Big Data i afins. ¿ Identificar els elements tecnològics necessaris en projectes que requereixen l'ús de tecnologies Big Data. ¿ Identificar les metodologies més adequades per a la implementació de sistemes de Big Data i entendre com generar-hi coneixement. ¿ Comprendre el funcionament de les principals eines i frameworks de Big Data, com ara HDFS o Apache Spark. ¿ Identificar les principals eines disponibles per a la captura i anàlisi de dades en flux, especialment dels ecosistemes Apache, i obtenir suficiència en la captura de fluxos de dades mitjançant Apache Flume i Apache Kafka. ¿ Comprendre el funcionament bàsic de les principals eines i frameworks per al processament de dades en flux en entorns Big Data: Apache Spark Streaming i Apache Structured Streaming. ¿ Actuar de manera ètica, honesta i cívica en el treball acadèmic i professional, evitant el plagi o qualsevol altre ús indegut del treball de tercers. |
||||||||||||||||||||||||||||||||||||||||||||||
L’assignatura consta de 9 blocs temàtics, cadascun dels quals està recolzat per un material didàctic i una sèrie d'exercicis. El contingut associat a cada bloc temàtic és el següent: 1) L'Evolució de l'Anàlisi de Dades: Del Passat Manual a la Super-Computació 2) Descobrint el Big Data: Captura, Emmagatzematge i Més! 3) Optimitzant l'Ús de Recursos en Sistemes d'Anàlisi de Dades Massives 4) Descobrint l'Anàlisi de Dades Massives: Arquitectures, MapReduce i Spark 5) Automatització Intel·ligent: Simplificant Tasques amb Oozie, Airflow i NiFi 6) Processat de Dades en Flux: De l'Origen a l'Anàlisi Avançat En aquest mòdul, s'estudia el processament de fluxos de dades, començant amb conceptes bàsics i sistemes de captura de dades en flux. S'exploren les característiques necessàries en sistemes Big Data per a aquesta anàlisi i es presenten arquitectures clau com Lambda i Kappa. També es detalla una arquitectura específica amb tecnologies populars. A més, es cobreixen aspectes tècnics, algoritmes per a l'anàlisi de dades en flux i es treballa en la captura de dades utilitzant Flume i Kafka. 7) Aprenentatge Continu: Navegant les Dades en Constant Evolució 8) Big Data a la Núvol: Els Nous Superpoders de l'Anàlisi de Dades 9) Exploració i Anàlisi de les Tendències Innovadores en Big Data |
||||||||||||||||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||||||||||||||||
A la UOC, l'avaluació generalment és virtual. S'estructura entorn de l'avaluació contínua, que inclou diferents activitats o reptes; l'avaluació final, que es porta a terme mitjançant proves o exàmens, i el treball final de la titulació. Les activitats o proves d'avaluació poden ser escrites i/o audiovisuals, amb preguntes aleatòries, proves orals síncrones o asíncrones, etc., d'acord amb el que decideixi cada equip docent. Els treballs finals representen el tancament d'un procés formatiu que implica la realització d'un treball original i tutoritzat que té com a objectiu demostrar l'adquisició competencial feta al llarg del programa. Per verificar la identitat de l'estudiant i l'autoria de les proves d'avaluació, la UOC es reserva la potestat d'aplicar diferents sistemes de reconeixement de la identitat i de detecció del plagi. Amb aquest objectiu, la UOC pot dur a terme enregistrament audiovisual o fer servir mètodes o tècniques de supervisió durant l'execució de qualsevol activitat acadèmica. Així mateix, la UOC pot exigir a l'estudiant l'ús de dispositius electrònics (micròfons, càmeres o altres eines) o programari específic durant l'avaluació. És responsabilitat de l'estudiant assegurar que aquests dispositius funcionen correctament. El procés d'avaluació es fonamenta en el treball personal de l'estudiant i pressuposa l'autenticitat de l'autoria i l'originalitat de les activitats acadèmiques. Al web sobre integritat acadèmica i plagi de la UOC hi ha més informació respecte d'aquesta qüestió. La manca d'autenticitat en l'autoria o d'originalitat de les proves d'avaluació; la còpia o el plagi; la suplantació d'identitat; l'acceptació o l'obtenció de qualsevol activitat acadèmica a canvi d'una contraprestació o no; la col·laboració, l'encobriment o l'afavoriment de la còpia, o l'ús de material, programari o dispositius no autoritzats en el pla docent o l'enunciat de l'activitat acadèmica, inclosa la intel·ligència artificial i la traducció automàtica, entre altres, són conductes irregulars en l'avaluació que poden tenir conseqüències acadèmiques i disciplinàries greus. Aquestes conductes irregulars poden comportar el suspens (D/0) en les activitats avaluables que es defineixin en el pla docent -incloses les proves finals- o en la qualificació final de l'assignatura, sigui perquè s'han utilitzat materials, programari o dispositius no autoritzats durant les proves (com l'ús d'intel·ligència artificial no permesa, xarxes socials o cercadors d'informació a internet), perquè s'han copiat fragments de text d'una font externa (internet, apunts, llibres, articles, treballs o proves d'altres estudiants, etc.) sense la citació corresponent, per la compravenda d'activitats acadèmiques, o perquè s'ha dut a terme qualsevol altra conducta irregular. Així mateix, i d'acord amb la normativa acadèmica, les conductes irregulars en l'avaluació també poden donar lloc a la incoació d'un procediment disciplinari i a l'aplicació, si escau, de la sanció que correspongui, de conformitat amb el que estableix la normativa de convivència de la UOC. En el marc del procés d'avaluació, la UOC es reserva la potestat de:
Intel·ligència artificial en el marc de l'avaluació La UOC reconeix el valor i el potencial de la intel·ligència artificial (IA) en l'àmbit educatiu, alhora que posa de manifest els riscos que comporta si no s'utilitza de manera ètica, crítica i responsable. En aquest sentit, en cada activitat d'avaluació s'informarà l'estudiantat sobre les eines i els recursos d'IA que es poden utilitzar i en quines condicions. Per la seva banda, l'estudiantat es compromet a seguir les indicacions de la UOC a l'hora de dur a terme les activitats d'avaluació i de citar les eines utilitzades i, concretament, a identificar els textos o les imatges generats per sistemes d'IA, els quals no podrà presentar com si fossin propis. Amb relació a fer servir o no la IA per resoldre una activitat, l'enunciat de les activitats d'avaluació indica les limitacions en l'ús d'aquestes eines. Cal tenir en compte que fer-les servir de manera inadequada, com ara en activitats en què no estan permeses o no citar-les en les activitats en què sí que ho estan, es pot considerar una conducta irregular en l'avaluació. En cas de dubte, es recomana que, abans de lliurar l'activitat, es faci arribar una consulta al professorat col·laborador de l'aula. |
||||||||||||||||||||||||||||||||||||||||||||||
|