B. TECH(SEM VI) THEORY EXAMINATION 2022-23BIG DATA AND ANALYTICSTime: 3 Hours Total Marks: 100Note: Attempt all Sections. If require any missing data; then choose suitably.SECTION A1. Attempt all questions in brief. 2 x 10 = 20(a) List out the different kind of Digital Data.(b) Write short note on Drivers of Big Data.(c) How Data format of Hadoop is important?(d) Explain Distributed File System.(e) How file system Works?(f) Discuss the use of Data Replication.(g) Why Scheduler is required in Hadoop System?(h) List the Data Type used in Mango DB.(i) Write the Applications of Big Data using Pig.(j) List out the Data Processing Operators used in Pig.SECTION B2. Attempt any three of the following: 10x3=30(a) How to overcome the Challenges of Conventional System in Data Analysis?(b) Explain the concept of Hadoop Echo System with proper diagram and example.(c) Illustrate the concept of HDFS Monitoring and Maintenance Process.(d) Discuss the New Features implemented in Hadoop 2.0 Version.(e) Explain the Process of Apache Hive installation Process and its Architecture indetail.SECTION C3. Attempt any one part of the following: 10x1=10(a) Explain about the Big Data Architecture and its Characteristics.(b) Discuss the various Big Data Features in terms of Security, Protection andAuditing.4. Attempt any one part of the following: 10x1=10(a) Discuss the Working of Map Reduce and its Characteristics.(b) Explain the various Job Scheduling Techniques used in the Map Reduce.5. Attempt any one part of the following: 10x1=10(a) Write the Benefits and Challenges of Hadoop Distributed File System in detail.(b) Discuss the Security issues in Hadoop and why it is important for Data analysis?6. Attempt any one part of the following: 10x1=10(a) Explain the Various Ecosystem Components used in Hadoop with properexample.(b) Define Inheritance. Explain the Built in Control Structure of SCALA.7. Attempt any one part of the following: 10x1=10(a) Explain the Process of building the applications with Zookeeper.(b) Define Infosphere. Explain the various IBM Big Data Strategies usednow a days.

Claro, aquí tienes las respuestas paso a paso:

SECCIÓN A

1. Responde a todas las preguntas brevemente. 2 x 10 = 20

(a) Enumera los diferentes tipos de Datos Digitales.

• Datos estructurados: Datos organizados en un formato fijo, como bases de datos relacionales.
• Datos no estructurados: Datos sin un formato predefinido, como correos electrónicos, videos, y documentos.
• Datos semiestructurados: Datos que no están completamente estructurados pero tienen etiquetas o marcadores, como XML y JSON.

(b) Escribe una breve nota sobre los impulsores del Big Data.

• Aumento en la cantidad de datos generados.
• Avances en tecnologías de almacenamiento y procesamiento.
• Necesidad de análisis en tiempo real.
• Competencia en el mercado que requiere decisiones basadas en datos.

(c) ¿Por qué es importante el formato de datos en Hadoop?

• El formato de datos en Hadoop es crucial porque afecta la eficiencia del almacenamiento y la velocidad de procesamiento. Formatos como Avro, Parquet y ORC permiten una compresión eficiente y un acceso rápido a los datos.

(d) Explica el Sistema de Archivos Distribuido.

• Un Sistema de Archivos Distribuido (DFS) permite almacenar y acceder a archivos a través de múltiples nodos en una red, proporcionando redundancia y alta disponibilidad.

(e) ¿Cómo funciona el sistema de archivos?

• Un sistema de archivos organiza y gestiona el almacenamiento de datos en un dispositivo de almacenamiento. Permite la creación, modificación, lectura y eliminación de archivos y directorios.

(f) Discute el uso de la Replicación de Datos.

• La replicación de datos asegura la disponibilidad y durabilidad de los datos al crear copias redundantes en diferentes nodos. Esto protege contra fallos de hardware y pérdida de datos.

(g) ¿Por qué se necesita un Programador en el sistema Hadoop?

• Un programador (scheduler) en Hadoop gestiona la asignación de recursos y la ejecución de tareas, optimizando el uso de recursos y mejorando la eficiencia del procesamiento.

(h) Enumera los tipos de datos utilizados en MongoDB.

• String, Integer, Boolean, Double, Array, Object, Null, Date, ObjectId, Binary Data.

(i) Escribe las aplicaciones de Big Data usando Pig.

• Análisis de grandes volúmenes de datos.
• Procesamiento de datos ETL (Extract, Transform, Load).
• Análisis de logs y datos de redes sociales.
• Procesamiento de datos de sensores y dispositivos IoT.

(j) Enumera los operadores de procesamiento de datos utilizados en Pig.

• LOAD, STORE, FILTER, FOREACH, GROUP, JOIN, ORDER, DISTINCT, LIMIT.

SECCIÓN B

2. Responde a tres de las siguientes preguntas: 10x3=30

(a) ¿Cómo superar los desafíos del sistema convencional en el análisis de datos?

• Utilizando tecnologías de Big Data como Hadoop y Spark para manejar grandes volúmenes de datos.
• Implementando técnicas de almacenamiento distribuido y procesamiento paralelo.
• Usando herramientas de análisis avanzadas y algoritmos de machine learning.

(b) Explica el concepto del Ecosistema Hadoop con un diagrama y ejemplo.

• El Ecosistema Hadoop incluye componentes como HDFS (sistema de archivos distribuido), MapReduce (modelo de procesamiento), YARN (gestión de recursos), y herramientas como Hive, Pig, HBase, y Spark. Un diagrama típico mostraría HDFS como la base, con YARN gestionando recursos y MapReduce/Spark ejecutando tareas de procesamiento.

(c) Ilustra el concepto de Monitoreo y Mantenimiento de HDFS.

• Monitoreo: Utilización de herramientas como Ambari y Nagios para supervisar el estado de los nodos y el rendimiento del clúster.
• Mantenimiento: Realización de tareas como balanceo de carga, replicación de datos, y recuperación de fallos.

(d) Discute las nuevas características implementadas en la versión 2.0 de Hadoop.

• YARN (Yet Another Resource Negotiator) para una mejor gestión de recursos.
• Soporte para múltiples motores de procesamiento como MapReduce y Spark.
• Mejoras en la escalabilidad y la tolerancia a fallos.

(e) Explica el proceso de instalación de Apache Hive y su arquitectura en detalle.

• Instalación: Descargar Hive, configurar variables de entorno, y conectar a un clúster Hadoop.
• Arquitectura: Incluye componentes como el Metastore (almacenamiento de metadatos), Driver (gestión de consultas), Compiler (compilación de consultas), y Execution Engine (ejecución de consultas).

SECCIÓN C

3. Responde a una de las siguientes partes: 10x1=10

(a) Explica la Arquitectura de Big Data y sus Características.

• La arquitectura de Big Data incluye la ingesta de datos, almacenamiento, procesamiento, y análisis. Características clave incluyen escalabilidad, tolerancia a fallos, y capacidad para manejar datos estructurados y no estructurados.

(b) Discute las diversas características de Big Data en términos de Seguridad, Protección y Auditoría.

• Seguridad: Autenticación, autorización, y cifrado de datos.
• Protección: Copias de seguridad, replicación de datos, y recuperación ante desastres.
• Auditoría: Registro de actividades y monitoreo de acceso para cumplir con regulaciones y políticas de seguridad.

4. Responde a una de las siguientes partes: 10x1=10

(a) Discute el funcionamiento de MapReduce y sus características.

• MapReduce es un modelo de programación que divide tareas en dos fases: Map (procesamiento de datos) y Reduce (agregación de resultados). Características incluyen procesamiento paralelo, escalabilidad, y tolerancia a fallos.

(b) Explica las diversas técnicas de programación de trabajos utilizadas en MapReduce.

• FIFO (First In, First Out), Fair Scheduler (distribución equitativa de recursos), y Capacity Scheduler (asignación de recursos basada en capacidad).

5. Responde a una de las siguientes partes: 10x1=10

(a) Escribe los beneficios y desafíos del Sistema de Archivos Distribuido de Hadoop en detalle.

• Beneficios: Escalabilidad, alta disponibilidad, y tolerancia a fallos.
• Desafíos: Complejidad en la gestión, necesidad de hardware robusto, y problemas de latencia.

(b) Discute los problemas de seguridad en Hadoop y por qué son importantes para el análisis de datos.

• Problemas: Acceso no autorizado, pérdida de datos, y ataques de denegación de servicio.
• Importancia: La seguridad es crucial para proteger la integridad y confidencialidad de los datos, especialmente en entornos empresariales y regulados.

6. Responde a una de las siguientes partes: 10x1=10

(a) Explica los diversos componentes del Ecosistema Hadoop con un ejemplo adecuado.

• Componentes: HDFS, YARN, MapReduce, Hive, Pig, HBase, Spark, y Zookeeper. Ejemplo: Un flujo de trabajo típico podría incluir la ingesta de datos en HDFS, procesamiento con Spark, y análisis con Hive.

(b) Define Herencia. Explica la estructura de control incorporada de SCALA.

• Herencia: Mecanismo en programación orientada a objetos donde una clase hereda propiedades y comportamientos de otra clase.
• Estructura de control en SCALA: Incluye bucles (for, while), condicionales (if, else), y patrones de coincidencia (match).

7. Responde a una de las siguientes partes: 10x1=10

(a) Explica el proceso de construcción de aplicaciones con Zookeeper.

• Zookeeper proporciona servicios de coordinación para aplicaciones distribuidas, como sincronización, configuración, y gestión de nodos. El proceso incluye la configuración de un clúster Zookeeper, la implementación de clientes, y la utilización de sus API para coordinar tareas.

(b) Define Infosphere. Explica las diversas estrategias de Big Data de IBM utilizadas hoy en día.

• Infosphere: Plataforma de IBM para la gestión y análisis de datos.
• Estrategias de Big Data de IBM: Incluyen el uso de IBM Watson para análisis cognitivo, IBM Cloud Pak for Data para integración y análisis de datos, y herramientas de inteligencia artificial para mejorar la toma de decisiones empresariales.