| Infraestructures tecnològiques per Big Data | Codi: 22.424 : 6 |
Aquesta assignatura presenta les principals estructures i elements de les infraestructures on es processarà i emmagatzemarà el Big Data.
En el seu desenvolupament no solament contempla aspectes estructurals, sinó que entra en detall en els grans aspectes que faran possible el processament del Big Data tenint com base la virtualització, la seva distribució fent servir xarxes d'alta velocitat o definides per software i l'emmagatzematge amb redundància o distribuït, així mateix com altres aspectes relacionats, com per exemple, la seguretat i escalabilitat entre altres.
També es presentaran les dues grans eines open source que conformen l'arquitectura software per a qualsevol projecte Big Data, com són Hadoop i Spark. Així mateix com l'ecosistema d'eines que li donen suport.
Com aspectes molt importants en la conformació d'infraestructures, es veuran les possibilitats del desplegament d'infraestructures sobre la base de l'automatització, especialment indicades per entorns cloud, amb proves de concepte de les principals eines d'IaC (Infraestructure as a Code).
Finalment s'abordaran aspectes essencials per a tota infraestructura com són la seguretat i la monitorització, contemplant eines i metodologies que permetin disposar d'infraestructures fiables i segures durant tot el cicle de vida del projecte.
La assignatura "Infraestructures tecnològiques per Big Data" forma part de les assignatures optatives de grau de Ciència de Dades Aplicada (Applied Data Science) i permet entrar en els aspectes estructurals i de detall de les infraestructures que es faran servir per al processament, transport i enmagatzenament del Big Data.
Els coneixements impartits permetran obtenir habilitats i competències per a diferents aspectes vinculats al Big Data, tal com són el desplegament d'infraestructures, tant en la seva configuració com en l'obtenció de prestacions, i que són una part essencial en els àmbits professionals de la ciència de dades, la direcció i/o consultoria de Big Data entre altres.
Pel desenvolupament d'aquesta assignatura es requereix que els estudiants tinguin coneixements de:
- SO GNU/Linux a nivell usuari mig/alt (en especial en l'interface per línia de comandes i coneixements de les principals comandes).
- Xarxes de comunicació
- Serveis i aplicacions sobre Linux.
- Coneixements bàsics de administració i programació en llenguatges d'scripts.
La metodologia inclou estudis de casos d'usos concrets, lectura de documentació tècnica sobre administració i gestió del SO, desplegament, seguretat i monitoritzación d'infraestructures i la cerca autònoma d'informació. En aquest aspecte és aconsellable que l'estudiant estigui familiaritzat amb l'ús avançat de cercadors d'Internet, l'anàlisi de la informació quantitativa i qualitativa, la capacitat de sintetitzar i obtenir conclusions, així com de posseir certes habilitats de comunicació oral i escrita. Així mateix, també cal que els estudiants tinguin la capacitat de llegir i comprendre documents en anglès, ja que gran part de la bibliografia i documents referenciats es troben en aquest idioma.
Els objectius que es vol que l'estudiant assoleixi mitjançant aquesta assignatura són els següents:
-Entendre els conceptes i les definicions formals associades a les infraestructures que processen, distribueixen i emmagatzemen el Big Data.
-Saber distingir i configurar les diferents parts de la infraestructura que dona suport al Big Data considerant aspectes com prestacions i seguretat.
-Conèixer les tecnologies més adequades per al desplegament d'infraestructures de Big Data de forma segura, eficient i considerant aspectes com l'escalabilitat, l'avaluació de rendiment i aspectes d'alta disponibilitat.
-Conèixer les principals eines disponibles a l'ecosistema de Big Data com son Apache Hadoop i Apache Spark i el seu ecosistema. També es desenvoluparan competències relacionades al desplegament en plataformes on-premise i amb serveis Cloud.
-Entendre el conceptes de desplegament automatitzat i verificat d'infraestructures i aplicant aquest conceptes a proves d'ús en els proveïdors clouds considerats.
L´assignatura està organitzada en cinc mòduls, i quatre reptes (realitzant les activitats PAC corresponents).
Tenim una organització de l'assignatura en cinc mòduls principals:
- M1.- Introducció a les infraestructures per Big Data
- M2.- Virtualització e Hipervisors
- M3.- Sistemes de storage distribuït i xarxes
- M4.- Arquitectures software per a Big Data
- M5.- Infraestructura com codi. Monitorizació i seguretat
Al mòdul 1 es realitzarà una introducció conceptual a les infraestructures per dades massives, on s'analitzaran el concepte de millora de les prestacions, així com els aspectes d'estructura de components i les arquitectures de processament més habituals (clúster, núvol -cloud-, IoT/sensors, edge). Aquest mòdul també inclourà una incursió en la interacció i el processament per descriure els aspectes fonamentals de les API i els entorns funcionals.
El mòdul 2 se centrarà en el concepte de virtualització i els hipervisors; es farà un repàs de diferents hipervisors (KVM, HyperV, VMware, VirtualBox) i els contenidors (Docker i LXC).
Els sistemes d'emmagatzemament distribuïts i les xarxes seran tractats en el mòdul 3, especialment centrat en les xarxes d'emmagatzematge (NAS, SAN, GlusterFS, HDFS) i les xarxes de comunicació definides per programari SDN (OpenFLow, OSwitch, LinuxBridge).
En el mòdul 4 es mostraran les principals caracterítiques de les arquitectures de programari per al Big Data; l'analisi es centrarà en dues de les grans eines open-source per al processament de dades massives com són Hadoop i Spark, i s'analitzaran diferents distribucions integrades -que inclouen a més altres eines del ecosistema Hadoop- com són BigTop i BigData Europe.
Finalment, el mòdul 5 es presentarà la infraestructura com codi (IaC) i el seu desplegament
a través de Terraform i Ansible i es tractaran aspectes relacionats amb la monitorització i la seguretat.
Els reptes (PAC) estaran orientats a que l'estudiant faci proves d'estudi i desplegament pràctics i experimenti els conceptes tractats a cada apartat sobre les infraestructures que després trobarà a l'entorn laboral.
A la UOC, l'avaluació generalment és virtual. S'estructura entorn de l'avaluació contínua, que inclou diferents activitats o reptes; l'avaluació final, que es porta a terme mitjançant proves o exàmens, i el treball final de la titulació.
Les activitats o proves d'avaluació poden ser escrites i/o audiovisuals, amb preguntes aleatòries, proves orals síncrones o asíncrones, etc., d'acord amb el que decideixi cada equip docent. Els treballs finals representen el tancament d'un procés formatiu que implica la realització d'un treball original i tutoritzat que té com a objectiu demostrar l'adquisició competencial feta al llarg del programa.
Per verificar la identitat de l'estudiant i l'autoria de les proves d'avaluació, la UOC es reserva la potestat d'aplicar diferents sistemes de reconeixement de la identitat i de detecció del plagi. Amb aquest objectiu, la UOC pot dur a terme enregistrament audiovisual o fer servir mètodes o tècniques de supervisió durant l'execució de qualsevol activitat acadèmica.
Així mateix, la UOC pot exigir a l'estudiant l'ús de dispositius electrònics (micròfons, càmeres o altres eines) o programari específic durant l'avaluació. És responsabilitat de l'estudiant assegurar que aquests dispositius funcionen correctament.
El procés d'avaluació es fonamenta en el treball personal de l'estudiant i pressuposa l'autenticitat de l'autoria i l'originalitat de les activitats acadèmiques. Al web sobre integritat acadèmica i plagi de la UOC hi ha més informació respecte d'aquesta qüestió.
La manca d'autenticitat en l'autoria o d'originalitat de les proves d'avaluació; la còpia o el plagi; la suplantació d'identitat; l'acceptació o l'obtenció de qualsevol activitat acadèmica a canvi d'una contraprestació o no; la col·laboració, l'encobriment o l'afavoriment de la còpia, o l'ús de material, programari o dispositius no autoritzats en el pla docent o l'enunciat de l'activitat acadèmica, inclosa la intel·ligència artificial i la traducció automàtica, entre altres, són conductes irregulars en l'avaluació que poden tenir conseqüències acadèmiques i disciplinàries greus.
Aquestes conductes irregulars poden comportar el suspens (D/0) en les activitats avaluables que es defineixin en el pla docent -incloses les proves finals- o en la qualificació final de l'assignatura, sigui perquè s'han utilitzat materials, programari o dispositius no autoritzats durant les proves (com l'ús d'intel·ligència artificial no permesa, xarxes socials o cercadors d'informació a internet), perquè s'han copiat fragments de text d'una font externa (internet, apunts, llibres, articles, treballs o proves d'altres estudiants, etc.) sense la citació corresponent, per la compravenda d'activitats acadèmiques, o perquè s'ha dut a terme qualsevol altra conducta irregular.
Així mateix, i d'acord amb la normativa acadèmica, les conductes irregulars en l'avaluació també poden donar lloc a la incoació d'un procediment disciplinari i a l'aplicació, si escau, de la sanció que correspongui, de conformitat amb el que estableix la normativa de convivència de la UOC.
En el marc del procés d'avaluació, la UOC es reserva la potestat de:
- Sol·licitar a l'estudiant que acrediti la seva identitat segons el que estableix la normativa acadèmica.
- Sol·licitar a l'estudiant que acrediti l'autoria del seu treball al llarg de tot el procés d'avaluació, tant en l'avaluació contínua com en l'avaluació final, per mitjà d'una entrevista oral síncrona, que pot ser objecte d'enregistrament audiovisual, o pels mitjans que estableixi la Universitat. Aquests mitjans tenen l'objectiu de verificar els coneixements i les competències que garanteixin la identitat de l'estudiant. Si no és possible garantir que l'estudiant és l'autor de la prova, aquesta pot ser qualificada amb una D, en el cas de l'avaluació contínua, o amb un suspens, en el cas de l'avaluació final.
Intel·ligència artificial en el marc de l'avaluació
La UOC reconeix el valor i el potencial de la intel·ligència artificial (IA) en l'àmbit educatiu, alhora que posa de manifest els riscos que comporta si no s'utilitza de manera ètica, crítica i responsable. En aquest sentit, en cada activitat d'avaluació s'informarà l'estudiantat sobre les eines i els recursos d'IA que es poden utilitzar i en quines condicions. Per la seva banda, l'estudiantat es compromet a seguir les indicacions de la UOC a l'hora de dur a terme les activitats d'avaluació i de citar les eines utilitzades i, concretament, a identificar els textos o les imatges generats per sistemes d'IA, els quals no podrà presentar com si fossin propis.
Amb relació a fer servir o no la IA per resoldre una activitat, l'enunciat de les activitats d'avaluació indica les limitacions en l'ús d'aquestes eines. Cal tenir en compte que fer-les servir de manera inadequada, com ara en activitats en què no estan permeses o no citar-les en les activitats en què sí que ho estan, es pot considerar una conducta irregular en l'avaluació. En cas de dubte, es recomana que, abans de lliurar l'activitat, es faci arribar una consulta al professorat col·laborador de l'aula.
|
L'assignatura només es pot aprovar amb el seguiment i la superació de l'avaluació contínua (AC). La qualificació final de l'assignatura és la nota obtinguda a l'AC. |