Blog UTEC

Todas las novedades

y mucho más

Caso Belcorp: El uso de Amazon EMR managed scaling para reducir costos y mejorar confiablidad en el marco de procesamiento de Big Data

Compartir

Compartir

Belcorp es una empresa nacida en Perú y con fábricas propia de productos en Colombia. Ahora es una de las principales empresas que ofrecen productos cosméticos en la región desde hace más de 50 años, distribuida en alrededor 12 países de América del Norte, Central y Sur. Su enfoque de mantenerse a la vanguardia tiene como fin reforzar sus modelos de negocios con las tendencias tecnologías para brindar una mejor experiencia al cliente.

A partir de esto, Belcorp comenzó a implementar su propia estrategia de datos fomentando el uso de datos para la toma de decisiones. Con base en esta estrategia, el equipo de arquitectura de datos de Belcorp diseñó e implementó un ecosistema de datos que permite a los equipos de negocios y análisis consumir datos funcionales que utilizan para generar hipótesis y conocimientos que se materializan en mejores estrategias de marketing o productos novedosos. 

Durante el 2021  realizaron mejoras continuas con el fin de reducir la cantidad de incidentes en la plataforma reportados al cierre de 2020, optimizando los SLA requeridos y siendo más rentables al usar Amazon EMR, lo que se traduce en hasta un 30% de ahorro para la empresa.

Para mantenerse a la vanguardia, las empresas más fuertes han creado una estrategia de datos que les permite mejorar las principales estrategias comerciales, o incluso crear otras nuevas, utilizando los datos como motor principal. Como una de las principales empresas de bienes de consumo empaquetados (CPG) de la región, Belcorp no es una excepción, en los últimos años estuvieron trabajando para implementar la toma de decisiones basada en datos.

Toda buena estrategia de datos está alineada con los objetivos comerciales y se basa en los principales casos de uso comercial. Actualmente, todos los esfuerzos del equipo de Belcorp se centran en los consumidores finales, y casi todas las iniciativas comerciales están relacionadas con la hiperpersonalización, la fijación de precios y la participación del cliente.

Para respaldar estas iniciativas, el departamento de arquitectura de datos proporciona servicios de datos como integración de datos, data governance, data quality frameworks, data availability, data accessibility, y tiempo de comercialización optimizado, de acuerdo con los requisitos comerciales como otras grandes empresas . Para proporcionar capacidades mínimas para respaldar todos estos servicios, se necesitó un ecosistema de datos escalable, flexible y rentable. Belcorp comenzó esta aventura hace un par de años utilizando servicios de AWS como Amazon Elastic Compute Cloud (Amazon EC2), AWS Lambda , AWS Fargate , Amazon EMR , Amazon DynamoDB y Amazon Redshift ., que actualmente alimentan con datos las principales soluciones analíticas.

A medida que crecía, tuvieron que mejorar continuamente el diseño de la arquitectura y el marco de procesamiento con respecto al volumen de datos y los requisitos de soluciones de datos más complejos. También, adoptaron marcos de control y calidad para garantizar la integridad de los datos, la calidad de los datos y los acuerdos de nivel de servicio (SLA). A principios de 2021 y debido a los incidentes críticos, su estabilidad operativa se vio afectada, impactando directamente en los resultados del negocio. La facturación también se vio afectada debido a que se incluyeron más cargas de trabajo nuevas y complejas, lo que provocó un aumento inesperado en los costos de la plataforma. En respuesta, decidieron centrarse en tres desafíos:

  • Estabilidad operativa
  • Eficiencia de costo
  • Acuerdos de Nivel de Servicio

Puedes encontrar los detalles de la solución llevada a cabo en el 2021 en el siguiente link:  AWS Big Data Blog -How Belcorp decreased cost and improved reliability in its big data processing framework using Amazon EMR managed scaling

El equipo de arquitectura de datos está a cargo de las mejoras continuas del ecosistema de datos de Belcorp, y siempre tienen como desafío lograr la mejor arquitectura de su clase, crear mejores diseños de soluciones arquitectónicas, optimizar costos y crear la arquitectura más automatizada, flexible y eficiente. 

Al mismo tiempo, Belcorp piensa en el futuro de este ecosistema de datos: cómo adaptarse a las nuevas necesidades comerciales, generar nuevos modelos comerciales y abordar las brechas arquitectónicas actuales. Ahora en la próxima generación de la plataforma de datos de Belcorp, basada en enfoques novedosos como data products, data mesh, y lake house. Estos nuevos enfoques y conceptos les ayudará a cubrir las brechas arquitectónicas actuales en la segunda generación del diseño de plataforma de datos. Además, influenciará en organizar mejor los equipos comerciales y de desarrollo para obtener una mayor agilidad durante el ciclo de desarrollo. Belcorp tiene presente las soluciones de datos como un producto de datos y se entrega a los equipos un conjunto de componentes tecnológicos y marcos automatizados que pueden usar como bloques de construcción.

Fuente: Aws.amazon.com

Nota original: AWS Big Data Blog -How Belcorp decreased cost and improved reliability in its big data processing framework using Amazon EMR managed scaling

Autores de la nota original:

Diego Benavides -  Senior Data Arquitecto en Belcorpi

Luis Bendezú -  Senior Data Ingeniero en Belcorp

Mar Ortiz - Solutions Architect Associate en AWS

Raúl Hugo - Senior Solutions Architect en AWS

Publicado el: 
10 de Mayo