Apache Hadoop es un marco de software de código abierto desarrollado por Douglas Cutting, antes en Yahoo, que ofrece un procesamiento distribuido altamente confiable de grandes conjuntos de datos a través de modelos de programación simples.
Hadoop superó las limitaciones de escalabilidad de Nutch y se basa en clústeres de computadoras básicas, lo que proporciona una solución rentable para almacenar y procesar cantidades masivas de datos estructurados, semiestructurados y no estructurados sin requisitos de formato.
Una arquitectura de data lake que incluya Hadoop puede ofrecer una solución de gestión de datos flexible para sus iniciativas de analytics de big data . Debido a que Hadoop es un proyecto de código abierto y sigue un modelo de computación distribuida, puede ofrecer precios que ahorran presupuesto para una solución de software y almacenamiento de big data.
Hadoop también se puede instalar en servidores en la nube para gestionar mejor los recursos informáticos y de almacenamiento necesarios para big data. Para mayor comodidad, los agentes de los sistemas operativos Linux, UNIX y Windows están preconfigurados y se pueden iniciar automáticamente. Los principales proveedores de nube, como Amazon Web Services (AWS) y Microsoft Azure, ofrecen soluciones. Cloudera admite cargas de trabajo de Hadoop tanto locales como en la nube, incluidas opciones para uno o más entornos de nube pública de múltiples proveedores. Use las API de monitoreo de Hadoop para agregar, actualizar, eliminar y ver los clústeres y servicios en los clústeres, y para todos los demás tipos de monitoreo en Hadoop.
Descubra el poder de integrar una estrategia de data lakehouse en su arquitectura de datos, incluyendo mejoras para escalar la IA y oportunidades de optimización de costos.
Regístrese para obtener el informe técnico sobre la gobernanza de la IA
La infraestructura de Hadoop, desarrollada por la Apache Software Foundation, incluye:
- Hadoop común: las utilidades y bibliotecas comunes que admiten los otros módulos de Hadoop. También conocido como Hadoop Core.
- Hadoop HDFS (Hadoop Distributed File System): un sistema de archivos distribuido para almacenar datos de aplicaciones en hardware básico. HDFS se diseñó para proporcionar tolerancia a fallas para Hadoop y proporciona un alto ancho de banda de datos agregados y acceso de alto rendimiento a los datos. De forma predeterminada, los bloques de datos se replican en varios nodos en el momento de la carga o la escritura. El grado de replicación es configurable: la replicación predeterminada es tres. La arquitectura HDFS presenta un NameNode para administrar el espacio de nombres del sistema de archivos y el acceso a archivos y múltiples DataNodes para gestionar el almacenamiento de datos. Al habilitar la alta disponibilidad, se puede usar un nodo secundario cuando un nodo activo deja de funcionar.
- Hadoop YARN: Apache Hadoop YARN de código abierto es un marco para la programación de trabajos y la administración de recursos de clúster que se puede usar con IBM Spectrum Sínhony en Linux y Linux en POWER. YARN significa Yet Another Resource Negotiator. Admite más cargas de trabajo, como SQL interactivo, modelado avanzado y transmisión en tiempo real.
- Hadoop MapReduce: Un sistema basado en YARN que almacena datos en múltiples fuentes y potencia para el procesamiento paralelo de grandes cantidades de datos. Existen varias técnicas de optimización disponibles para MapReduce para acelerar los trabajos.
- Hadoop Ozone: un almacén de objetos escalable, redundante y distribuido diseñado para aplicaciones de big data.
Mejore Hadoop con proyectos de software de código abierto adicionales.
Una herramienta web para aprovisionar, gestionar y monitorear clústeres de Hadoop.
Un sistema de serialización de datos.
Una base de datos NoSQL escalable diseñada para no tener un único punto de falla.
Un sistema de recopilación de datos para monitorear grandes sistemas distribuidos; desarrollado sobre HDFS y MapReduce.
Un servicio para recopilar, agregar y mover grandes cantidades de datos en streaming a HDFS.
Una base de datos distribuida escalable y no relacional que admite el almacenamiento de datos estructurados para tablas muy grandes.
Una infraestructura de almacenamiento de datos para la consulta, el almacenamiento de metadatos para tablas y el análisis en una interfaz similar a SQL.
Una biblioteca escalable de aprendizaje automático y minería de datos.
Un programador de carga de trabajo basado en Java para gestionar trabajos de Hadoop.
Un lenguaje de flujo de datos de alto nivel e infraestructura de ejecución para computación paralela.
Una herramienta para transferir datos de manera eficiente entre Hadoop y el almacenamiento de datos estructurados, como bases de datos relacionales.
Una plataforma de IA unificada para ejecutar cargas de trabajo de aprendizaje automático y aprendizaje profundo en un clúster distribuido.
Una infraestructura de programación de flujo de datos generalizado, desarrollada sobre YARN; se adoptó dentro del ecosistema Hadoop para reemplazar MapReduce.
Un servicio de coordinación de alto rendimiento para aplicaciones distribuidas.
Apache Hadoop fue escrito en Java pero, dependiendo del proyecto de big data, los desarrolladores pueden programar en el lenguaje que elijan, como Python, R o Scala. La empresa de servicios públicos Hadoop permite a los desarrolladores crear y ejecutar trabajos de MapReduce con cualquier script o ejecutable como mapeador o reductor.
Apache Spark a menudo se compara con Hadoop, ya que también es una infraestructura de código abierto para el procesamiento de big data. De hecho, Spark se creó inicialmente para mejorar el rendimiento del procesamiento y ampliar los tipos de cálculos posibles con Hadoop MapReduce. Spark utiliza procesamiento en memoria, lo que significa que es mucho más rápido que las capacidades de lectura/escritura de MapReduce.
Si bien Hadoop es mejor para el procesamiento por lotes de grandes volúmenes de datos, Spark admite el procesamiento de datos por lotes y en tiempo real, y es ideal para la transmisión de datos y cálculos gráficos. Tanto Hadoop como Spark tienen bibliotecas de aprendizaje automático, pero, nuevamente, debido al procesamiento en memoria, el aprendizaje automático de Spark es mucho más rápido.
Mejores decisiones basadas en datos: integre datos en tiempo real (transmisión de audio, video, sentimiento de las redes sociales y datos de secuencia de clics) y otros datos semiestructurados y no estructurados que no se utilizan en un almacén de datos o una base de datos relacional. Unos datos más completos proporcionan decisiones más precisas.
Acceso y análisis de datos mejorados: impulse el acceso de autoservicio en tiempo real para sus científicos de datos, propietarios de líneas de negocio (LOB) y desarrolladores. Hadoop puede impulsar la ciencia de datos, un campo interdisciplinario que utiliza datos, algoritmos, aprendizaje automático e IA para análisis avanzados para revelar patrones y generar predicciones.
Descarga y consolidación de datos: agilice los costos en los centros de datos de su empresa moviendo datos "fríos" que no se utilizan actualmente a una distribución basada en Hadoop para su almacenamiento. O consolide datos en toda la organización para aumentar la accesibilidad y reducir los costos.
Admita los analytics predictivos y prescriptivos para la IA actual.Combine la distribución de Hadoop de nivel empresarial de Cloudera con un único ecosistema de productos y servicios integrados de IBM y Cloudera para mejorar el descubrimiento de datos, las pruebas y las consultas ad hoc y casi en tiempo real. Aproveche la colaboración entre IBM y Cloudera para ofrecer soluciones empresariales de Hadoop.
Utilice un motor SQL-on-Hadoop híbrido de nivel empresarial, compatible con ANSI, para ofrecer procesamiento paralelo masivo (MPP) y consultas de datos avanzadas.
Replique los datos a medida que se transmiten para que no sea necesario escribir o cerrar completamente los archivos antes de transferirlos.
Aproveche de forma más rentable los big data con bases de datos de código abierto de proveedores líderes como MongoDB y EDB.
Vea cómo están impulsando analytics avanzados con un data lake de nivel empresarial, seguro, gobernado y basado en código abierto.
Agregue un data lake a su estrategia de gestión de datos para integrar más datos no estructurados y obtener insights más profundos.
Conozca la tecnología de almacenamiento y gobernanza necesaria para que su lago de datos entregue datos listos para IA.
Vea cómo las soluciones de gobernanza comprobadas pueden impulsar una mejor integración, calidad y seguridad de los datos para sus data lakes.
Elija su ruta de aprendizaje, en función de su nivel de conocimientos, entre cursos gratuitos sobre ciencia de datos, IA, big data y mucho más.
Únase a la comunidad de IBM para la gestión de datos de código abierto para colaboración, recursos y más.