Publicado: 3 de enero de 2024
Colaboradores: Phill Powell, Ian Smalley
La deduplicación de datos es un proceso de optimización en el que los datos redundantes se reducen eliminando copias adicionales de la misma información. El objetivo de la deduplicación de datos, o "dedupe" como se abrevia comúnmente, es disminuir las necesidades continuas de almacenamiento de una organización.
Las organizaciones pueden implementar procesos y técnicas de deduplicación de datos para asegurarse de que solo existe una instancia única de datos dentro de su sistema de almacenamiento. Los datos duplicados o redundantes se eliminan y los usuarios son dirigidos a una única instancia de los datos.
Cuando la deduplicación de datos es eficaz, puede mejorar la utilización general del almacenamiento de una organización y ayudar a reducir costos.
Conozca los puntos débiles más comunes de los clientes que la IA puede hacer frente, qué capacidades están disponibles actualmente y cómo IBM Z es la plataforma de IA ideal.
Regístrese para obtener el libro electrónico para modernizar sus aplicaciones más rápidamente
De todos modos, ¿por qué iba una empresa a crear datos duplicados? Podría haber una o más de cualquier número de razones válidas, incluyendo las siguientes:
- Una organización o uno de sus departamentos puede necesitar dar una nueva finalidad a los datos originales, por lo que se crean nuevas copias de datos.
- Una empresa podría querer conservar copias duplicadas como parte de su sistema de copias de seguridad en caso de que se produzca un evento de pérdida de datos.
- Una organización podría descubrir que ha conservado múltiples copias de los mismos datos, pero almacenados en formatos diferentes.
Otra razón clave para la duplicación de datos es simplemente porque eso es lo que suele ocurrir en la mayoría de las organizaciones multidepartamentales. Los datos se crean o se vuelven a crear regularmente como una función aceptada y orgánica de hacer negocios en un contexto moderno. Por lo tanto, la creación o replicación de datos no es el problema real, sino la proliferación excesiva de datos.
Si no hubiera cargas financieras adicionales asociadas a ella, la proliferación de datos podría parecer un problema menor de lo que es. Una organización podría optar por almacenar los datos en varias ubicaciones dentro de su arquitectura informática y no preocuparse por esas redundancias.
Pero el hecho es que una empresa incurre en penalizaciones financieras al mantener un gran número de redundancias de datos en forma de costos adicionales de almacenamiento. Las organizaciones que no pueden dejar de crear redundancias de datos necesitan asignar más mano de obra y presupuesto a la implementación de nuevas soluciones de almacenamiento y gestión de datos, ya sea que se basen en nuevas compras de hardware o en la incorporación de almacenamiento en la nube.
El beneficio más obvio de las técnicas de deduplicación de datos es que la eliminación de datos superfluos reduce la cantidad total de datos que una organización debe almacenar y gestionar. Esto aumenta de forma efectiva la capacidad de almacenamiento de una organización al tener menos datos para ocupar el espacio de almacenamiento.
Además de reducir los costos de almacenamiento, la deduplicación de datos ofrece otras ventajas clave, como el fomento de los planes de copia de seguridad de los datos y el apoyo a las medidas de emergencia para salvaguardar la recuperación en caso de desastre.
Otra ventaja es la revitalización de la integridad de los datos al eliminar los datos de "peso muerto" y asegurarse de que los datos restantes se han limpiado adecuadamente. Se ha demostrado que los datos deduplicados se ejecutan mejor e incorporan menos energía.
Otro beneficio de la deduplicación de datos es lo bien que funciona con los despliegues de infraestructuras de escritorios virtuales (VDI), gracias a que los discos duros virtuales detrás de los escritorios remotos de la VDI funcionan de forma idéntica. Entre los productos populares de escritorio como servicio (DaaS) se incluyen Azure Virtual Desktop, de Microsoft y su Windows VDI. Estos productos fabrican máquinas virtuales (VM), que se crean durante el proceso de virtualización del servidor. A su vez, estas máquinas virtuales potencian la tecnología VDI.
En su nivel más básico, la deduplicación de datos opera mediante funciones automatizadas para identificar duplicaciones en los bloques de datos y, a continuación, eliminarlas. Al trabajar a este nivel de bloque, los fragmentos de datos únicos pueden analizarse y especificarse como dignos de preservación. Entonces, cuando el software de deduplicación detecta una repetición del mismo bloque de datos, esa repetición se elimina y en su lugar se incluye una referencia a los datos originales.
Un método alternativo de deduplicación de datos opera a nivel de archivo. Compara copias completas de datos dentro del sistema de archivos, pero no trozos o bloques de datos. Al igual que su método homólogo, la deduplicación de archivos depende de que se conserve el archivo original y se eliminen las copias adicionales.
Las técnicas de deduplicación no funcionan exactamente igual que los algoritmos de compresión de datos (por ejemplo, LZ77, LZ78), aunque es cierto que ambos persiguen el mismo objetivo general de reducir las redundancias de datos. Las técnicas de deduplicación logran este objetivo a una escala mayor y macro que los algoritmos de compresión, cuyo objetivo consiste menos en reemplazar archivos idénticos por copias compartidas y más en codificar eficazmente las redundancias de datos.
Existen dos tipos básicos de deduplicación de datos que dependen del momento en que se produzcan los procesos.
Esta forma de deduplicación de datos se produce en tiempo real a medida que los datos fluyen dentro del sistema. El sistema soporta menos tráfico de datos porque no transfiere ni almacena datos duplicados. Esto puede suponer una reducción de la cantidad total de ancho de banda que necesita esa organización.
Este tipo de deduplicación tiene lugar después de que los datos hayan sido escritos y colocados en algún tipo de dispositivo de almacenamiento.
Ambos tipos de deduplicación de datos se ven afectados por los cálculos hash inherentes a la deduplicación de datos. Estos cálculos criptográficos son esenciales para identificar patrones repetidos en los datos. Durante la deduplicación en línea, esos cálculos se realizan en el momento, lo que puede dominar y sobrecargar temporalmente la funcionalidad de la computadora. En las deduplicaciones posteriores al proceso, los cálculos hash pueden realizarse en cualquier momento después de agregar los datos.
Las sutiles diferencias entre los tipos de deduplicación no acaban ahí. Una segunda forma de clasificar los tipos de deduplicación se basa en dónde estén estos procesos.
Esta forma de deduplicación tiene lugar cerca de donde se generan los nuevos datos. El sistema escanea esa zona y detecta nuevas copias de archivos, que luego se eliminan.
La deduplicación de destino es básicamente una inversión de la deduplicación de origen. En la deduplicación de destino, el sistema deduplica las copias que estén en zonas distintas de donde se crearon los datos originales.
Dado que existen diferentes tipos de métodos de deduplicación que se practican, las organizaciones con visión de futuro deben tomar decisiones cuidadosas y meditadas sobre el tipo de deduplicación que eligen, equilibrando ese método con las necesidades particulares de esa empresa.
En muchos casos de uso, el método de deduplicación elegido por una organización puede muy bien reducirse a diversas variables internas, como las siguientes:
- Cuántos y qué tipo de conjuntos de datos se están creando
- El sistema de almacenamiento primario de la organización
- Qué entornos virtuales se utilizan
- En qué aplicaciones confía la empresa
Minimice el potencial de interrupciones operativas y aísle las cargas de trabajo de los ataques de ransomware y otras amenazas cibernéticas. Agilice su postura de resiliencia cibernética para que su empresa sufra menos pérdidas y vuelva a la normalidad más rápido.
Aporte poder a la copia de seguridad y recuperación de datos con IBM® Storage Protect. Conozca el software que mejora la resiliencia de los datos de los servidores de archivos físicos, proporcionando eficiencias adicionales y una solución escalable para gestionar miles de millones de objetos por servidor de copia de seguridad.
Reduzca drásticamente los costos de infraestructura de almacenamiento con una solución de almacenamiento de datos on premises. Usted aporta los datos e IBM suministra el sistema de almacenamiento. El hardware FlashSystem e IBM® DS8900F le ofrecen un modelo STaaS más flexible, basado en el consumo y que funciona como una nube.
Explore los conceptos básicos del almacenamiento de datos, incluidos los tipos de dispositivos de almacenamiento y los diferentes formatos de almacenamiento de datos.
Conozca mejor cómo fluyen los datos de un sistema de almacenamiento o un entorno informático a otro.
Vea por qué el éxito en la gestión de datos comienza con un proyecto sólido en forma de arquitectura de datos.
No hay un tema más urgente en computación o en los negocios. Conozca los fundamentos de la protección de datos.