• Descripció

Aquesta assignatura se centra en diferents visions i dimensions de les dades, en les diferents fonts de dades que podem trobar, i que per tant seran (potencialment) part de les nostres fonts en els processos d'anàlisi de dades. Seguidament veurem els principals mètodes per a l'adquisició i captura de dades, com ara el web scrapping, l'accés a dades mitjançant API o SPARQL. Finalitzarem aquesta assignatura revisant els processos relacionats amb les dades, com ara la integració, validació, agregació, neteja de dades i l'enriquiment.

• L'assignatura en el conjunt del pla d'estudis

Aquesta assignatura forma part del conjunt d'assignatures obligatòries del màster, i es recomana que sigui cursada durant el primer o segon semestre d'estudis.

• Camps professionals en què es projecta

Aquesta assignatura es projecta en els diferents perfils de científics de dades com són el científic/a de dades, l'analista de dades, l'enginyer/a de dades, l'estadístic/a, l'administrador/a de base de dades o el/la líder de ciència de dades.

• Coneixements previs

En la realització de les activitats pràctiques calen coneixements bàsics de R i Python.

• Informació prèvia a la matrícula

Alguns dels continguts d'aquesta assignatura s'han d'estudiar a partir de materials i recursos escrits en anglès.

• Objectius i competències

Competències bàsiques

• Saber aplicar els coneixements adquirits i la seva capacitat de resolució de problemes en entorns nous o poc coneguts dins de contextos més amplis (o multidisciplinaris) relacionats amb la seva àrea d'estudi.
• Adquirir les habilitats d'aprenentatge que permetin continuar estudiant de manera autodirigida o autònoma.
• Adquirir la capacitat per extreure, interpretar i analitzar les dades de diferents entorns.
• Adquirir la capacitat de cerca, gestió i ús de la informació i els recursos en l'àmbit de la ciència de dades.

Competències transversals

• Adquirir la capacitat d'iniciativa, automotivació i treball de forma independent.
• Adquirir la capacitat de comunicació oral i escrita per a la vida acadèmica i professional.
• Adquirir la capacitat per proposar solucions innovadors i prendre decisions.
• Adquirir la capacitat per treballar en equips multidisciplinaris.

Competències específiques

• Adquirir la destresa necessària per a la manipulació de dades, conversió de formats i emmagatzematge dels mateixos.
• Aprendre l'ús avançat de les eines de programari estadístic adequades per als diferents problemes de modelització, anàlisi i visualització de dades.
• Aprendre a capturar dades de diferents fonts de dades (tals com a xarxes socials, web de dades o repositoris) i mitjançant diferents mecanismes (tals com queries, API i scraping).
• Saber actuar amb els principis ètics i legals relacionats amb la manipulació de dades en funció de l'àmbit d'aplicació.

Objectius específics

• Conèixer els diferents tipus de dades amb què ens podem trobar i saber les seves peculiaritats.
• Ser capaç d'identificar les restriccions de privacitat que puguin tenir les dades.
• Conèixer els repositoris de dades més representatius.
• Ser capaç d'extreure dades de diferents orígens de dades de forma eficient, majoritàriament en el context web i empresarial.
• Ser capaç de processar les dades (validar-los, integrar dades de diferents fonts, millorar la seva qualitat, etc.) per al seu posterior anàlisi.
• Ser capaç de definir processos d'extracció, transformació i càrrega per automatitzar el pre-processament de les dades.

• Continguts

1. Introducció al cicle de vida de les dades

1. Què són les dades?
2. Cicle de vida de les dades

2. Web Scraping

1. Per què i com fer web scraping?
2. Primers passos per a fer web scraping
3. Web scraping de contingut gràfic i audiovisual
4. Emmagatzematge i compartició de dades
5. Prevenció del web scraping
6. Resolució d'obstacles en web scraping
7. Aspectes legals
8. Millors pràctiques i consells
9. Exemples de web scraping i casos d'èxit

3. Introducció a la neteja i anàlisi de dades

1. Neteja de dades
2. Anàlisi de dades
3. Visualització de dades

• Consulta dels recursos d'aprenentatge de què disposa l'assignatura

• Recursos d'aprenentatge i eines de suport

L'assignatura està estructurada en tres blocs. El consultor us indicarà per cada bloc quins són els capítols que heu de llegir dels recursos d'aprenentatge següents. 

Bloc 1: Preliminars

• Subirats, L., Pérez, D., Calvo, M.(2019). Introducció al cicle de vida de les dades. Editorial UOC. 
• Subirats, L., Calvo, M.(2019). Web Scraping. Editorial UOC. Capítol 1 i 6.

Bloc 2: Web Scraping

• Subirats, L., Calvo, M. (2019). Web Scraping. Editorial UOC.
• Masip, David (2010). Llenguatge Python. Editorial UOC.
• Simon Munzert, Christian Rubba, Peter Meissner, Dominic Nyhuis. Automated Data Collection with R: A Practical Guide to Web Scraping and Text Mining. ISBN: 978-1-118-83481-7, 474 pages, December 2014.
• Tutorial de Github: https://guides.github.com/activities/hello-world.

Bloc 3: Neteja i validació de dades

• Calvo, M., Pérez, D., Subirats, L. (2019). Introducció a la neteja i anàlisi de dades. Editorial UOC. 
• Squire, Megan (2015). Clean Data. Packt Publishing Ltd. 272 p. ISBN 9781785289033.
• Tutorial de Github: https://guides.github.com/activities/hello-world.

• Informacions sobre l'avaluació a la UOC

El procés d'avaluació es fonamenta en el treball personal de l'estudiant i pressuposa l'autenticitat de l'autoria i l'originalitat dels exercicis realitzats.

La manca d'autenticitat en l'autoria o d'originalitat de les proves d'avaluació; la còpia o el plagi; l'intent fraudulent d'obtenir un resultat acadèmic millor; la col·laboració, l'encobriment o l'afavoriment de la còpia, o la utilització de material o dispositius no autoritzats durant l'avaluació, entre d'altres, són conductes irregulars que poden tenir conseqüències acadèmiques i disciplinàries greus.

D'una banda, si es detecta alguna d'aquestes conductes irregulars, pot comportar el suspens (D/0) en les activitats avaluables que es defineixin en el pla docent –incloses les proves finals– o en la qualificació final de l'assignatura, sigui perquè s'han utilitzat materials o dispositius no autoritzats durant les proves, com ara xarxes socials o cercadors d'informació a internet, perquè s'han copiat fragments de text d'una font externa (internet, apunts, llibres, articles, treballs o proves d'altres estudiants, etc.) sense la citació corresponent, o perquè s'ha practicat qualsevol altra conducta irregular.

De l'altra, i d'acord amb les normatives acadèmiques, les conductes irregulars en l'avaluació, a més de comportar el suspens de l'assignatura, poden donar lloc a la incoació d'un procediment disciplinari i a l'aplicació, si escau, de la sanció que correspongui.

• Consulta del model d'avaluació