• Descripción

Esta asignatura presenta las principales estructuras y elementos de las infraestructuras donde se procesará y almacenará el Big Data.

Su desarrollo no sólo contempla aspectos estructurales, sino que entra en detalle en los grandes aspectos que harán posible el procesamiento del Big Data teniendo como base la virtualización, su distribución utilizando redes de alta velocidad o definidas por software y almacenamiento con redundancia o distribuido, así como otros aspectos relacionados, como por ejemplo, la seguridad y escalabilidad entre otros.

También se presentarán las dos grandes herramientas open-source que conforman la arquitectura software para cualquier proyecto Big Data, como Hadoop y Spark y, también, el ecosistema de herramientas que le apoyan.

Como aspectos muy importantes en la provisión de infraestructuras, se verán las posibilidades del despliegue de infraestructuras sobre la base de la automatización, especialmente indicadas por entornos cloud, con pruebas de concepto de las principales herramientas de IaC (Infraestructure as a Code).

Por último se abordarán aspectos esenciales para toda infraestructura como son la seguridad y la monitorización, contemplando herramientas y metodologías que permitan disponer de infraestructuras fiables y seguras durante todo el ciclo de vida del proyecto.

• La asignatura en el conjunto del plan de estudios

La asignatura "Infraestructuras tecnológicas para Big Data" forma parte de las asignaturas optativas de grado de Ciencia de Datos Aplicada (Applied Data Science) y permite entrar en los aspectos estructurales y de detalle de las infraestructuras que se utilizarán para el procesamiento, transporte y almacenamiento del Big Data.

• Campos profesionales en el que se proyecta

Los conocimientos impartidos permitirán obtener habilidades y competencias para diferentes aspectos vinculados al Big Data, tal y como son el despliegue de infraestructuras, tanto en su configuración como en la obtención de prestaciones, y que son una parte esencial en los ámbitos profesionales de la ciencia de datos, la dirección y/o consultoría de Big Data entre otros.

• Conocimientos previos

Para el desarrollo de esta asignatura se requiere que los estudiantes tengan conocimientos de:

• SO GNU/Linux a nivel usuario medio/alto (en especial en la interfaz por línea de comandos  y conocimientos de los principales comandos).
• Redes de comunicación
• Servicios y aplicaciones sobre Linux.
• Conocimientos básicos de administración y programación en lenguajes de scripts.

La metodología incluye estudios de casos de usos concretos, lectura de documentación técnica sobre administración y gestión del SO, despliegue, seguridad y monitorización de infraestructuras y la búsqueda autónoma de información. En este aspecto es aconsejable que el estudiante esté familiarizado con el uso avanzado de buscadores de Internet, el análisis de la información cuantitativa y cualitativa, la capacidad de sintetizar y obtener conclusiones, así como poseer ciertas habilidades de comunicación oral y escrita. Asimismo, también es necesario que los estudiantes tengan la capacidad de leer y comprender documentos en inglés, ya que gran parte de la bibliografía y documentos referenciados se encuentran en este idioma.

• Objetivos y competencias

Los objetivos que se desea que le estudiante alcance mediante esta asignatura son los siguientes:

-Entender los conceptos y definiciones formales asociadas a las infraestructuras que procesan, distribuyen y almacenan el Big Data.

-Saber distinguir y configurar las diferentes partes de la infraestructura que apoya al Big Data considerando aspectos como prestaciones y seguridad.

-Conocer las tecnologías más adecuadas para el despliegue de infraestructuras de Big Data de forma segura, eficiente y considerando aspectos como la escalabilidad, la evaluación de rendimiento y aspectos de alta disponibilidad.

-Conocer las principales herramientas disponibles en el ecosistema de Big Data como son Apache Hadoop y Apache Spark y su ecosistema. También se desarrollarán competencias relacionadas al despliegue en plataformas on-premise y con servicios Cloud.

-Entender los conceptos de despliegue automatizado y verificado de infraestructuras y aplicando estos conceptos a pruebas de uso en los proveedores clouds considerados.

La asignatura está organizada en cinco módulos, y cuatro retos (realizando las actividades PAC correspondientes).

• Contenidos

La organización de la asignatura se distribuye en cinco módulos principales:

• M1.- Introducción a las infraestructuras por Big Data
• M2.- Virtualización e Hipervisores
• M3.- Sistemas de storage distribuido y redes
• M4.- Arquitecturas software para Big Data
• M5.- Infraestructura como código. Monitorización y seguridad

En el módulo 1 se realizará una introducción conceptual en las infraestructuras por datos masivos, donde se analizarán el concepto de mejora de las prestaciones, así como los aspectos de estructura de componentes y las arquitecturas de procesamiento más habituales (clúster, nube -cloud- , IoT/sensores, edge). Este módulo también incluirá una incursión en la interacción y el procesamiento para describir los aspectos fundamentales de las API y entornos funcionales.

El módulo 2 se centrará en el concepto de virtualización y los hipervisores; se hará un repaso de distintos hipervisores (KVM, HyperV, VMware, VirtualBox) y los contenedores (Docker y LXC).

Los sistemas de almacenamiento distribuidos y las redes serán tratados en el módulo 3, especialmente centrado en las redes de almacenamiento (NAS, SAN, GlusterFS, HDFS) y las redes de comunicación definidas por software SDN (OpenFLow, OSwitch, LinuxBridge).

En el módulo 4 se mostrarán las principales características de las arquitecturas de software para el Big Data; el análisis se centrará en dos de las grandes herramientas open-source para el procesamiento de datos masivos como Hadoop y Spark, y se analizarán diferentes distribuciones integradas -que incluyen además otras herramientas del ecosistema Hadoop- como son BigTop y BigData Europe .

Por último, el módulo 5 se presentará la infraestructura como código (IaC) y su despliegue a través de Terraform y Ansible y se tratarán aspectos relacionados con la monitorización y la seguridad.

Los retos (PEC, pruebas de evaluación continuada) estarán orientados a que el estudiante haga pruebas de estudio y despliegue prácticos y experimente los conceptos tratados en cada apartado sobre las infraestructuras que después encontrará en el entorno laboral.

• Consulta de los recursos de aprendizaje de la UOC para la asignatura

• Informaciones sobre la evaluación en la UOC

En la UOC, la evaluación generalmente es virtual. Se estructura en torno a la evaluación continua, que incluye diferentes actividades o retos; la evaluación final, que se lleva a cabo mediante pruebas o exámenes, y el trabajo final de la titulación.

Las actividades o pruebas de evaluación pueden ser escritas y/o audiovisuales, con preguntas aleatorias, pruebas orales síncronas o asíncronas, etc., de acuerdo con lo que decida cada equipo docente. Los trabajos finales representan el cierre de un proceso formativo que implica la realización de un trabajo original y tutorizado que tiene como objetivo demostrar la adquisición competencial hecha a lo largo del programa.

Para verificar la identidad del estudiante y la autoría de las pruebas de evaluación, la UOC se reserva la potestad de aplicar diferentes sistemas de reconocimiento de la identidad y de detección del plagio. Con este objetivo, la UOC puede llevar a cabo grabación audiovisual o usar métodos o técnicas de supervisión durante la ejecución de cualquier actividad académica.

Asimismo, la UOC puede exigir al estudiante el uso de dispositivos electrónicos (micrófonos, cámaras u otras herramientas) o software específico durante la evaluación. Es responsabilidad del estudiante asegurar que estos dispositivos funcionan correctamente.

El proceso de evaluación se fundamenta en el trabajo personal del estudiante y presupone la autenticidad de la autoría y la originalidad de las actividades académicas. La web sobre integridad académica y plagio de la UOC contiene información al respecto.

La falta de autenticidad en la autoría o de originalidad de las pruebas de evaluación; la copia o el plagio; la suplantación de identidad; la aceptación o la obtención de cualquier actividad académica a cambio o no de una contraprestación; la colaboración, el encubrimiento o el favorecimiento de la copia, o el uso de material, software o dispositivos no autorizados en el plan docente o el enunciado de la actividad académica, incluida la inteligencia artificial y la traducción automática, entre otras, son conductas irregulares en la evaluación que pueden tener consecuencias académicas y disciplinarias graves.

Estas conductas irregulares pueden conllevar el suspenso (D/0) en las actividades evaluables definidas en el plan docente -incluidas las pruebas finales- o en la calificación final de la asignatura, ya sea porque se han utilizado materiales, software o dispositivos no autorizados durante las pruebas (como el uso de inteligencia artificial no permitida, redes sociales o buscadores de información en internet), porque se han copiado fragmentos de texto de una fuente externa (internet, apuntes, libros, artículos, trabajos o pruebas de otros estudiantes, etc.) sin la citación correspondiente, por la compraventa de actividades académicas, o porque se ha llevado a cabo cualquier otra conducta irregular.

Asimismo, y de acuerdo con la normativa académica, las conductas irregulares en la evaluación también pueden dar lugar a la incoación de un procedimiento disciplinario y a la aplicación, si procede, de la sanción que corresponda, de conformidad con lo establecido en la normativa de convivencia de la UOC.

En el marco del proceso de evaluación, la UOC se reserva la potestad de:

• Solicitar al estudiante que acredite su identidad según lo establecido en la normativa académica.
• Solicitar al estudiante que acredite la autoría de su trabajo a lo largo de todo el proceso de evaluación, tanto en la evaluación continua como en la evaluación final, a través de una entrevista oral síncrona, que puede ser objeto de grabación audiovisual, o por los medios establecidos por la UOC. Estos medios tienen el objetivo de verificar los conocimientos y las competencias que garanticen la identidad del estudiante. Si no es posible garantizar que el estudiante es el autor de la prueba, esta puede ser calificada con una D, en el caso de la evaluación continua, o con un suspenso, en el caso de la evaluación final.

Inteligencia artificial en el marco de la evaluación

La UOC reconoce el valor y el potencial de la inteligencia artificial (IA) en el ámbito educativo y, a su vez, pone de manifiesto los riesgos que supone si no se utiliza de forma ética, crítica y responsable. En este sentido, en cada actividad de evaluación se informará al estudiantado sobre las herramientas y los recursos de IA que se pueden utilizar y en qué condiciones. Por su parte, el estudiantado se compromete a seguir las indicaciones de la UOC a la hora de realizar las actividades de evaluación y de citar las herramientas utilizadas y, concretamente, a identificar los textos o imágenes generados por sistemas de IA, los cuales no podrá presentar como si fueran propios.

Respecto a usar o no la IA para resolver una actividad, el enunciado de las actividades de evaluación indica las limitaciones en el uso de estas herramientas. Debe tenerse en cuenta que usarlas de manera inadecuada, como por ejemplo en actividades en las que no están permitidas o no citarlas en las actividades en las que sí lo están, puede considerarse una conducta irregular en la evaluación. En caso de duda, se recomienda que, antes entregar la actividad, se haga llegar una consulta al profesorado colaborador del aula.

• Consulta del modelo de evaluación