| Infraestructures tecnològiques per Big Data | Codi: 22.424 : 6 |
(NOTA: Aquesta assignatura està en desenvolupament i aquest pla docent és provisional fins l'inici de l'assignatura)
Aquesta assignatura presenta les principals estructures i elements de les infraestructures on es processarà i emmagatzemarà el Big Data.
En el seu desenvolupament no solament contempla aspectes estructurals, sinó que entra en detall en els grans aspectes que faran possible el processament del Big Data tenint com base la virtualització, la seva distribució fent servir xarxes d'alta velocitat o definides per software i l'emmagatzematge amb redundància o distribuït, aixi mateix com altres aspectes relacionats, com per exemple, la seguretat i escalabilitat entre altres.
També es presentaran les dues grans eines open-source que conformen l'arquitectura software per a qualsevol projecte Big Data, com són Hadoop i Spark. Aixì mateix com l'ecosistema d'eines que li donen suport.
Com aspectes molt importants en la conformació d'infraestructures, es veuran les possibilitats del desplegament d'infraestructures sobre la base de l'automatització, especialment indicades per entorns cloud, amb proves de concepte de les principals eines d'IaC (Infraestructure as a Code).
Finalment s'abordaran aspectes essencials per a tota infraestructura com són la seguretat i la monitorització, contemplant eines i metodologies que permetin disposar d'infraestructures fiables i segures durant tot el cicle de vida del projecte.
La assignatura "Infraestructures tecnològiques per a Big Data" forma part de les assignatures optatives de grau de Ciència de Dades Aplicada (Applied Data Science) i permet entrar en els aspectes estructurals i de detall de les infraestructures que es faran servir per al processament, transport i enmagatzenament del Big Data.
Els coneixements impartits permetran obtenir habilitats i competències per a diferents aspectes vinculats al Big Data, tal com són el desplegament d'infraestructures, tant en la seva configuració com en l'obtenció de prestacions, i que són una part essencial en els àmbits professionals de la ciència de dades, la direcció i/o consultoria de Big Data entre altres.
Pel desenvolupament d'aquesta assignatura es requereix que els estudiants tinguin coneixements de:
- SO Gnu/Linux a nivell usuari mig/alt (en especial en l'interface per linia de comandes i coneixements de les principals comandes).
- Xarxes de comunicació
- Serveis i aplicacions sobre Linux.
- Coneixements bàsics de administració i programació en llenguatges d'scripts.
La metodologia inclou estudis de casos d'usos concrets, lectura de documentació tècnica sobre administració i gestió del SO, desplegament, seguretat i monitoritzación d'infraestructures i la cerca autònoma d'informació. En aquest aspecte és aconsellable que l'estudiant estigui familiaritzat amb l'ús avançat de cercadors d'Internet, l'anàlisi de la informació quantitativa i qualitativa, la capacitat de sintetitzar i obtenir conclusions, així com de posseir certes habilitats de comunicació oral i escrita. Així mateix, també cal que els estudiants tinguin la capacitat de llegir i comprendre documents en anglès, ja que gran part de la bibliografia i documents referenciats es troben en aquest idioma.
No es contempla.
Els objectius que es vol que l'estudiant assoleixi mitjançant aquesta assignatura són els següents:
-Entendre els conceptes i les definicions formals associades a les infraestructures que processen, distribueixen i emmagatzemen el Big Data.
-Saber distingir i configurar les diferents parts de la infraestructura que dona suport al Big Data considerant aspectes com prestacions i seguretat.
-Conèixer les tecnologies més adequades per al desplegament d'infraestructures de Big Data de forma segura, eficient i considerant aspectes com l'escalabilitat, l'avaluació de rendiment i aspectes d'alta disponibilitat.
-Conèixer les principals eines disponibles a l'ecosistema de Big Data com son Apache Hadoop i Apache Spark i el seu ecosistema. També es desenvoluparan competències relacionades al desplegament en plataformes on-premise i amb serveis Cloud.
-Entendre el conceptes de desplegament automatitzat i verificat d'infraestructures i aplicant aquest conceptes a proves d'ús en els proveïdors clouds considerats.
L´assignatura està organitzada en cinc mòduls, i quatre reptes (realitzant les activitats PAC corresponents).
Tenim una organització de l'assignatura en cinc mòduls principals:
- M1.- Introducció a les infraestructures per Big Data
- M2.- Virtualització e Hipervisors
- M3.- Sistemes de storage distribuït i xarxes
- M4.- Arquitectures software per a Big Data
- M5.- Infraestructura com codi. Monitorizació i seguretat
Al mòdul 1 es realitzarà una introducció conceptual a les infraestructures per dades massives, on s'analitzaran el concepte de millora de les prestacions, així com els aspectes d'estructura de components i les arquitectures de processament més habituals (clúster, núvol -cloud-, IoT/sensors, edge). Aquest mòdul també inclourà una incursió en la interacció i el processament per descriure els aspectes fonamentals de les API i els entorns funcionals.
El mòdul 2 se centrarà en el concepte de virtualització i els hipervisors; es farà un repàs de diferents hipervisors (KVM, HyperV, VMware, VirtualBox) i els contenidors (Docker i LXC).
Els sistemes d'emmagatzemament distribuïts i les xarxes seran tractats en el mòdul 3, especialment centrat en les xarxes d'emmagatzematge (NAS, SAN, GlusterFS, HDFS) i les xarxes de comunicació definides per programari SDN (OpenFLow, OSwitch, LinuxBridge).
En el mòdul 4 es mostraran les principals caracterítiques de les arquitectures de programari per al Big Data; l'analisi es centrarà en dues de les grans eines open-source per al processament de dades massives com són Hadoop i Spark, i s'analitzaran diferents distribucions integrades -que inclouen a més altres eines del ecosistema Hadoop- com són BigTop i BigData Europe.
Finalment, el mòdul 5 es presentarà la infraestructura com codi (IaC) i el seu desplegament
a través de Terraform i Ansible i es tractaran aspectes relacionats amb la monitorització i la seguretat.
Els reptes (PAC) estaran orientats a que l'estudiant faci proves d'estudi i desplegament pràctics i experimenti els conceptes tractats a cada apartat sobre les infraestructures que després trobarà a l'entorn laboral.
El procés d'avaluació es fonamenta en el treball personal de l'estudiant i pressuposa l'autenticitat de l'autoria i l'originalitat dels exercicis realitzats.
La manca d'autenticitat en l'autoria o d'originalitat de les proves d'avaluació; la còpia o el plagi; l'intent fraudulent d'obtenir un resultat acadèmic millor; la col·laboració, l'encobriment o l'afavoriment de la còpia, o la utilització de material o dispositius no autoritzats durant l'avaluació, entre d'altres, són conductes irregulars que poden tenir conseqüències acadèmiques i disciplinàries greus.
D'una banda, si es detecta alguna d'aquestes conductes irregulars, pot comportar el suspens (D/0) en les activitats avaluables que es defineixin en el pla docent incloses les proves finals o en la qualificació final de l'assignatura, sigui perquè s'han utilitzat materials o dispositius no autoritzats durant les proves, com ara xarxes socials o cercadors d'informació a internet, perquè s'han copiat fragments de text d'una font externa (internet, apunts, llibres, articles, treballs o proves d'altres estudiants, etc.) sense la citació corresponent, o perquè s'ha practicat qualsevol altra conducta irregular.
De l'altra, i d'acord amb les normatives acadèmiques, les conductes irregulars en l'avaluació, a més de comportar el suspens de l'assignatura, poden donar lloc a la incoació d'un procediment disciplinari i a l'aplicació, si escau, de la sanció que correspongui.
|
L'assignatura només es pot aprovar amb el seguiment i la superació de l'avaluació contínua (AC). La qualificació final de l'assignatura és la nota obtinguda a l'AC. |