• Descripció

Aquesta assignatura se centra en diferents visions i dimensions de les dades, en les diferents fonts de dades que podem trobar, i que per tant seran (potencialment) part de les nostres fonts en els processos d'anàlisi de dades. Seguidament veurem els principals mètodes per a l'adquisició i captura de dades, com ara el web scrapping, l'accés a dades mitjançant API o SPARQL. Finalitzarem aquesta assignatura revisant els processos relacionats amb les dades, com ara la integració, validació, agregació, neteja de dades i l'enriquiment.

• L'assignatura en el conjunt del pla d'estudis

Aquesta assignatura forma part del conjunt d'assignatures obligatòries del màster, i es recomana que sigui cursada durant el primer o segon semestre d'estudis.

• Camps professionals en què es projecta

Aquesta assignatura es projecta en els diferents perfils de científics de dades com són el científic/a de dades, l'analista de dades, l'enginyer/a de dades, l'estadístic/a, l'administrador/a de base de dades o el/la líder de ciència de dades.

• Coneixements previs

En la realització de les activitats pràctiques calen coneixements bàsics de R i Python.

• Informació prèvia a la matrícula

Alguns dels continguts d'aquesta assignatura s'han d'estudiar a partir de materials i recursos escrits en anglès.

• Objectius i competències

Competències bàsiques

• Saber aplicar els coneixements adquirits i la seva capacitat de resolució de problemes en entorns nous o poc coneguts dins de contextos més amplis (o multidisciplinaris) relacionats amb la seva àrea d'estudi.
• Adquirir les habilitats d'aprenentatge que permetin continuar estudiant de manera autodirigida o autònoma.
• Adquirir la capacitat per extreure, interpretar i analitzar les dades de diferents entorns.
• Adquirir la capacitat de cerca, gestió i ús de la informació i els recursos en l'àmbit de la ciència de dades.

Competències transversals

• Adquirir la capacitat d'iniciativa, automotivació i treball de forma independent.
• Adquirir la capacitat de comunicació oral i escrita per a la vida acadèmica i professional.
• Adquirir la capacitat per proposar solucions innovadors i prendre decisions.
• Adquirir la capacitat per treballar en equips multidisciplinaris.

Competències específiques

• Adquirir la destresa necessària per a la manipulació de dades, conversió de formats i emmagatzematge dels mateixos.
• Aprendre l'ús avançat de les eines de programari estadístic adequades per als diferents problemes de modelització, anàlisi i visualització de dades.
• Aprendre a capturar dades de diferents fonts de dades (tals com a xarxes socials, web de dades o repositoris) i mitjançant diferents mecanismes (tals com queries, API i scraping).
• Saber actuar amb els principis ètics i legals relacionats amb la manipulació de dades en funció de l'àmbit d'aplicació.

Objectius específics

• Conèixer els diferents tipus de dades amb què ens podem trobar i saber les seves peculiaritats.
• Ser capaç d'identificar les restriccions de privacitat que puguin tenir les dades.
• Conèixer els repositoris de dades més representatius.
• Ser capaç d'extreure dades de diferents orígens de dades de forma eficient, majoritàriament en el context web i empresarial.
• Ser capaç de processar les dades (validar-los, integrar dades de diferents fonts, millorar la seva qualitat, etc.) per al seu posterior anàlisi.
• Ser capaç de definir processos d'extracció, transformació i càrrega per automatitzar el pre-processament de les dades.

• Continguts

1. Introducció al cicle de vida de les dades

1. Què són les dades?
2. Cicle de vida de les dades

2. Web Scraping

1. Per què i com fer web scraping?
2. Primers passos per a fer web scraping
3. Web scraping de contingut gràfic i audiovisual
4. Emmagatzematge i compartició de dades
5. Prevenció del web scraping
6. Resolució d'obstacles en web scraping
7. Aspectes legals
8. Millors pràctiques i consells
9. Exemples de web scraping i casos d'èxit

3. Introducció a la neteja i anàlisi de dades

1. Neteja de dades
2. Anàlisi de dades
3. Visualització de dades

• Consulta dels recursos d'aprenentatge de què disposa l'assignatura

• Recursos d'aprenentatge i eines de suport

L'assignatura està estructurada en tres blocs. El consultor us indicarà per cada bloc quins són els capítols que heu de llegir dels recursos d'aprenentatge següents. 

Bloc 1: Preliminars

• Subirats, L., Pérez, D., Calvo, M.(2019). Introducció al cicle de vida de les dades. Editorial UOC. 
• Subirats, L., Calvo, M.(2019). Web Scraping. Editorial UOC. Capítol 1 i 6.

Bloc 2: Web Scraping

• Subirats, L., Calvo, M. (2019). Web Scraping. Editorial UOC.
• Masip, David (2010). Llenguatge Python. Editorial UOC.
• Simon Munzert, Christian Rubba, Peter Meissner, Dominic Nyhuis. Automated Data Collection with R: A Practical Guide to Web Scraping and Text Mining. ISBN: 978-1-118-83481-7, 474 pages, December 2014.
• Tutorial de Github: https://guides.github.com/activities/hello-world.

Bloc 3: Neteja i validació de dades

• Calvo, M., Pérez, D., Subirats, L. (2019). Introducció a la neteja i anàlisi de dades. Editorial UOC. 
• Squire, Megan (2015). Clean Data. Packt Publishing Ltd. 272 p. ISBN 9781785289033.
• Tutorial de Github: https://guides.github.com/activities/hello-world.

• Informacions sobre l'avaluació a la UOC

La Normativa acadèmica de la UOC disposa que el procés d'avaluació es fonamenta en el treball personal de l'estudiant i pressuposa l'autenticitat de l'autoria i l'originalitat dels exercicis fets.

La manca d'originalitat en l'autoria o el mal ús de les condicions en què es fa l'avaluació de l'assignatura és una infracció que pot tenir conseqüències acadèmiques greus.

L'estudiant serà qualificat amb un suspens (D/0) si es detecta manca d'originalitat en l'autoria d'alguna activitat avaluable (pràctica, prova d'avaluació contínua (PAC) o final (PAF), o la que es defineixi al pla docent), sigui perquè ha utilitzat material o dispositius no autoritzats, sigui perquè ha copiat textualment d'internet, o ha copiat d'apunts, de materials, de manuals o d'articles (sense la citació corresponent), d'altres estudiants, o per qualsevol altra conducta irregular.

La qualificació de suspens (D/0) en les qualificacions finals d'avaluació contínua pot comportar l'obligació de fer l'examen presencial per a superar l'assignatura (si hi ha examen i si superar-lo és suficient per a superar l'assignatura segons indiqui el pla docent).

Quan aquesta mala conducta es produeixi durant la realització de les proves d'avaluació finals presencials, l'estudiant pot ser expulsat de l'aula, i l'examinador farà constar tots els elements i la informació relatius al cas.

D'altra banda, aquesta conducta pot donar lloc a la incoació d'un procediment disciplinari i l'aplicació, si escau, de la sanció que correspongui.

La UOC habilitarà els mecanismes que consideri oportuns per a vetllar per la qualitat de les seves titulacions i garantir l'excel·lència i la qualitat del seu model educatiu.

• Consulta del model d'avaluació