¿Qué es la ciencia de datos?

El volumen acelerado de fuentes de datos y, posteriormente, de datos, ha hecho que la ciencia de datos sea uno de los campos de más rápido crecimiento en todas las industrias. Como resultado, no es de extrañar que el papel del científico de datos fuera calificado como el "trabajo más sexy del siglo XXI" por Harvard Business Review. Las organizaciones dependen cada vez más de ellos para interpretar los datos y proporcionar recomendaciones aplicables en la práctica para mejorar los resultados del negocio.

El ciclo de vida de la ciencia de datos implica varios roles, herramientas y procesos, que permiten a los analistas obtener insights procesables. Normalmente, un proyecto de ciencia de datos pasa por las siguientes etapas:

• Ingestión de datos: el ciclo de vida comienza con la recopilación de datos, tanto datos estructurados como no estructurados sin procesar de todas las fuentes relevantes utilizando una variedad de métodos. Estos métodos pueden incluir entrada manual, scraping web y transmisión de datos en tiempo real desde sistemas y dispositivos. Las fuentes de datos pueden incluir datos estructurados, como datos de clientes, junto con datos no estructurados como archivos de registro, video, audio, imágenes,Internet de las cosas (IoT), redes sociales y más.

• Almacenamiento de datos y procesamiento de datos: dado que los datos pueden tener formatos y estructuras diferentes, las empresas deben considerar distintos sistemas de almacenamiento en función del tipo de datos que sea necesario capturar. Los equipos de gestión de datos ayudan a establecer normas en torno al almacenamiento y la estructura de los datos, lo que facilita los flujos de trabajo en torno a los modelos de analytics, machine learning y aprendizaje profundo. Esta etapa incluye la limpieza de datos, la deduplicación, la transformación y la combinación de los datos mediante trabajos ETL (extracción, transformación, carga) u otras tecnologías de integración de datos. Esta preparación de datos es esencial para promover la calidad de los datos antes de cargarlos en un almacén de datos, lago de datos u otro repositorio.

• Análisis de datos: en este caso, los científicos de datos realizan un análisis exploratorio de los datos para examinar sesgos, patrones, rangos y distribuciones de valores dentro de los datos. Esta exploración de analytics de datos impulsa la generación de hipótesis para las pruebas a/b. También permite a los analistas determinar la relevancia de los datos para su uso dentro de los esfuerzos de modelado para los analytics predictivos, el aprendizaje automático y/o el aprendizaje profundo. Dependiendo de la precisión de un modelo, las organizaciones pueden llegar a depender de estos insights para la toma de decisiones empresariales, lo que les permite impulsar una mayor escalabilidad.

• Comunicar: finalmente, los insights se presentan como informes y otras visualizaciones de datos que facilitan la comprensión de los insights y su impacto en el negocio para los analistas de negocio y otros responsables de la toma de decisiones. Un lenguaje de programación de ciencia de datos como R o Python incluye componentes para generar visualizaciones; alternativamente, los científicos de datos pueden usar herramientas de visualización dedicadas.

Los científicos de datos son expertos en extraer insights y respuestas específicos de la industria a partir de los datos. Poseen habilidades informáticas y de ciencias puras más allá de las de un analista de negocios o analista de datos típico, así como un profundo conocimiento de los detalles de la industria o disciplina empresarial en la que trabajan (como la fabricación de automóviles, el comercio electrónico o la atención médica).  

Un científico de datos debe ser capaz de:

• Conocer la empresa lo suficiente como para hacer las preguntas pertinentes e identificar los puntos débiles.
  
  
• Aplicar la estadística y la informática, junto con la perspicacia empresarial, al análisis de datos.
  
  
• Utilizar una amplia gama de herramientas y técnicas para preparar y extraer datos: desde bases de datos y SQL hasta minería de datos y métodos de integración de datos.
  
  
• Extraer insights de big data mediante análisis predictivos e inteligencia artificial (IA), incluidos modelos de machine learning, procesamiento de lenguaje natural y aprendizaje profundo.
  
  
• Escribir programas y algoritmos que automaticen el procesamiento de datos y los cálculos.
  
  
• Contar e ilustrar historias que transmitan claramente el significado de los resultados a los responsables de la toma de decisiones y a los stakeholders en todos los niveles de comprensión técnica.
  
  
• Explicar cómo pueden utilizarse los resultados para resolver problemas empresariales.
  
  
• Colaborar con otros miembros del equipo de ciencia de datos, como analistas de datos y de negocio, arquitectos de TI, ingenieros de datos y desarrolladores de aplicaciones.

Estos skills tienen una gran demanda y, como resultado, muchas personas que se inician en una carrera de ciencia de datos exploran una variedad de programas de ciencia de datos, como programas de certificación, cursos de ciencia de datos y programas de grado ofrecidos por instituciones educativas.

Los científicos de datos no son necesariamente responsables directos de todos los procesos involucrados en el ciclo de vida de la ciencia de datos. Por ejemplo, los pipelines de datos suelen ser manejados por ingenieros de datos, pero el científico de datos puede hacer recomendaciones sobre qué tipo de datos son útiles o necesarios. Si bien los científicos de datos pueden crear modelos de machine learning, escalar estos esfuerzos a un nivel mayor requiere más habilidades de ingeniería de software para optimizar un programa y ejecutarlo más rápidamente. Como resultado, es común que un científico de datos se asocie con ingenieros de machine learning para escalar modelos de machine learning.

Las responsabilidades de los científicos de datos suelen solaparse con las de los analistas de datos, sobre todo en lo que respecta al análisis exploratorio y la visualización de datos. Sin embargo, las competencias de un científico de datos suelen ser más amplias que las del analista de datos promedio. Comparativamente, los científicos de datos aprovechan lenguajes de programación comunes, como R y Python, para realizar más inferencia estadística y visualización de datos.

Puede ser fácil confundir los términos "ciencia de datos" y "business intelligence" (BI) porque ambos se refieren a los datos de una organización y al análisis de esos datos, pero difieren en su enfoque.

Business Intelligence (BI) suele ser un término genérico que engloba la tecnología que permite la preparación, la minería, la administración y la visualización de datos. Las herramientas y procesos de business intelligence permiten a los usuarios finales identificar información procesable a partir de datos sin procesar, facilitando la toma de decisiones basada en datos dentro de organizaciones de diversas industrias. Aunque las herramientas de ciencia de datos coinciden en gran parte de este aspecto, el business intelligence se centra más en los datos del pasado, y los insights de las herramientas de BI son de naturaleza más descriptiva. Utiliza los datos para comprender lo que ha sucedido antes e informar sobre una línea de actuación. El BI está orientado a datos estáticos (inmutables) que suelen estar estructurados. Aunque la ciencia de datos utiliza datos descriptivos, suele emplearlos para determinar variables predictivas, que luego se utilizan para categorizar datos o hacer previsiones.

La ciencia de datos y la BI no son mutuamente excluyentes: las organizaciones digitalmente inteligentes utilizan ambas para comprender plenamente y extraer valor de sus datos.

Los científicos de datos se basan en lenguajes de programación populares para realizar análisis exploratorios de datos y regresión estadística. Estas herramientas de código abierto admiten capacidades predefinidas de modelado estadístico, machine learning y gráficos. Entre estos lenguajes se incluyen los siguientes (leer más en "Python frente a R: ¿cuál es la diferencia?"):

• R Studio: lenguaje de programación y entorno de código abierto para el desarrollo de gráficos e informática estadística.
• Python: lenguaje de programación dinámico y flexible. Python incluye numerosas bibliotecas, como NumPy, Pandas o Matplotlib, para analizar datos rápidamente.

Para facilitar el intercambio de código y otra información, los científicos de datos pueden utilizar GitHub y Jupyter Notebook.

Algunos científicos de datos pueden preferir una interfaz de usuario, y dos herramientas empresariales comunes para el análisis estadístico incluyen:

• SAS: una suite de herramientas integral, incluidas visualizaciones y paneles interactivos, para el análisis, la elaboración de informes, la minería de datos y la creación de modelos predictivos.
• IBM SPSS: ofrece análisis estadísticos avanzados, una amplia biblioteca de algoritmos de machine learning, análisis de texto, extensibilidad de código abierto, integración con big data y despliegue fluido en aplicaciones.

Los científicos de datos también adquieren destreza en el uso de plataformas de procesamiento de big data, como Apache Spark, el marco de código abierto Apache Hadoop y las bases de datos NoSQL. También dominan una amplia gama de herramientas de visualización de datos, como las sencillas herramientas gráficas incluidas en las aplicaciones empresariales de presentación y hojas de cálculo (como Microsoft Excel), herramientas comerciales de visualización creadas a medida como Tableau e IBM Cognos, y herramientas de código abierto como D3.js (una biblioteca de JavaScript para crear visualizaciones de datos interactivas) y RAW Graphs. Para crear modelos de aprendizaje automático, los científicos de datos suelen recurrir a varios marcos como PyTorch, TensorFlow, MXNet y Spark MLib.

Dada la pronunciada curva de aprendizaje de la ciencia de datos, muchas empresas buscan acelerar el retorno de la inversión en proyectos de IA; a menudo tienen dificultades para contratar el talento necesario para aprovechar todo el potencial de los proyectos de ciencia de datos. Para subsanar esta carencia, están recurriendo a plataformas multipersona de ciencia de datos y aprendizaje automático (DSML), dando lugar al papel de "científico de datos ciudadano".

Las plataformas multipersona DSML utilizan la automatización, los portales de autoservicio y las interfaces de usuario de código bajo/sin código para que las personas con poca o ninguna experiencia en tecnología digital o expertos en ciencia de datos puedan crear valor empresarial utilizando la ciencia de datos y el aprendizaje automático. Estas plataformas también sirven de apoyo a los científicos de datos expertos, ya que también ofrecen una interfaz más técnica. El uso de una plataforma DSML multipersona fomenta la colaboración en toda la empresa.

La computación en la nube escala la ciencia de datos proporcionando acceso a más potencia de procesamiento, almacenamiento y otras herramientas necesarias para los proyectos de ciencia de datos.

Dado que la ciencia de datos con frecuencia aprovecha grandes conjuntos de datos, las herramientas que pueden escalar con el tamaño de los datos son increíblemente importantes, especialmente para proyectos urgentes. Las soluciones de almacenamiento en la nube, como los lagos de datos, brindan acceso a la infraestructura de almacenamiento, que es capaz de ingerir y procesar grandes volúmenes de datos con facilidad. Estos sistemas de almacenamiento brindan flexibilidad a los usuarios finales, lo que les permite poner en marcha grandes clústeres según sea necesario. También pueden agregar nodos de cómputo incrementales para agilizar los trabajos de procesamiento de datos, lo que permite a la empresa hacer concesiones a corto plazo para obtener un resultado mayor a largo plazo. Las plataformas en la nube suelen tener diferentes modelos de precios, como por uso o suscripciones, para satisfacer las necesidades de su usuario final, ya sea una gran empresa o una pequeña empresa emergente.

Las tecnologías de código abierto se utilizan ampliamente en conjuntos de herramientas de ciencia de datos. Cuando están alojados en la nube, los equipos no necesitan instalarlos, configurarlos, mantenerlos o actualizarlos localmente. Varios proveedores de la nube, incluido IBM® Cloud, también ofrecen kits de herramientas preempaquetados que permiten a los científicos de datos crear modelos sin programación, democratizando aún más el acceso a las innovaciones tecnológicas y a los insights de datos.

Las empresas pueden desbloquear numerosos beneficios de la ciencia de datos. Los casos de uso más comunes incluyen la optimización de procesos mediante la automatización inteligente y la mejora de la orientación y la personalización para mejorar la experiencia del cliente (CX). Sin embargo, hay ejemplos más concretos:

Estos son algunos casos de uso representativos de la ciencia de datos y la inteligencia artificial:

• Un banco internacional ofrece servicios de préstamo más rápidos con una aplicación móvil que utiliza modelos de riesgo crediticios basados en machine learning y una arquitectura de computación en la nube híbrida que es tanto potente como segura.
• Una empresa de electrónica está desarrollando sensores ultrapotentes impresos en 3D para guiar los vehículos sin conductor del futuro. La solución se basa en la ciencia de datos y en herramientas de analytics para mejorar su capacidad de detección de objetos en tiempo real.
• Un proveedor de soluciones de automatización de procesos robóticos (RPA) desarrolló una solución cognitiva de minería de procesos de negocio que reduce los tiempos de gestión de incidentes entre el 15 % y el 95 % para sus empresas clientes. La solución está entrenada para comprender el contenido y el sentimiento de los correos electrónicos de los clientes, dirigiendo a los equipos de servicio para que den prioridad a los más relevantes y urgentes.
• Una empresa de tecnología de medios digitales creó una plataforma de analytics de audiencias que permite a sus clientes ver qué atrae a los telespectadores cuando se les ofrece una gama cada vez mayor de canales digitales. La solución emplea analytics profundos y aprendizaje automático para obtener insights en tiempo real sobre el comportamiento de los espectadores.
• Un departamento de policía urbana creó herramientas de análisis estadístico de incidentes para ayudar a los agentes a comprender cuándo y dónde desplegar recursos para prevenir delitos. La solución basada en datos crea informes y paneles para aumentar la conciencia de los funcionarios de campo.
• Shanghai Changjiang Science and Technology Development utilizó la tecnología IBM® Watson para crear una plataforma de evaluación médica basada en IA que puede analizar los registros médicos existentes para categorizar a los pacientes en función del riesgo de sufrir un accidente cerebrovascular y que puede predecir la tasa de éxito de diferentes tratamientos.