Engineer / Software / Portafolio
100 almacenes Postgre, MS SQL y BigQuery
Diseñé la arquitectura, creé y administré 100 bases de datos de almacenes de datos en PostgreSQL, MS SQL y Google BigQuery, principalmente con datos GIS y series temporales, y optimicé su rendimiento y escalabilidad.
2022 – 2024
Situación. Una empresa tecnológica en rápido crecimiento necesitaba crear, gestionar y optimizar una cartera diversa de más de 100 bases de datos PostgreSQL, Microsoft SQL Server y Google BigQuery. Las bases trataban principalmente conjuntos complejos de información geográfica (GIS), como coordenadas espaciales y análisis por ubicación, y series temporales, como lecturas de sensores, registros y métricas en tiempo real. La infraestructura existente tenía problemas de escalabilidad, rendimiento de consultas y coherencia, especialmente ante el crecimiento exponencial de los datos. La organización necesitaba una arquitectura sólida para mantener la fiabilidad y reducir los costes operativos.
Tarea. El objetivo principal era diseñar, implementar y administrar un ecosistema escalable de almacenes de datos de alto rendimiento, adaptado a GIS y series temporales. Esto implicaba:
- Resolver cuellos de botella en consultas espaciales y temporales complejas.
- Permitir el crecimiento del volumen de datos manteniendo la eficiencia de costes.
- Colaborar con equipos de distintas funciones, como científicos de datos y responsables de producto, para ajustar el diseño de las bases a las necesidades del negocio.
Acción. Para alcanzar estos objetivos:
- Diseño de arquitecturas escalables:
- Se crearon esquemas normalizados y desnormalizados en PostgreSQL y SQL Server, con indexación espacial, como PostGIS en PostgreSQL, y particionamiento temporal para optimizar las consultas.
- Se utilizaron tablas particionadas por tiempo y agrupadas en clústeres de BigQuery para gestionar eficientemente series temporales de gran escala.
- Implementación de estrategias de optimización:
- Se incorporaron índices, vistas materializadas y caché para reducir la latencia de consultas GIS y temporales.
- Se aplicaron compresión de datos y almacenamiento columnar en BigQuery para reducir costes de almacenamiento y acelerar los recorridos de datos.
- Colaboración en la integración entre plataformas:
- Se documentaron buenas prácticas de modelado GIS y temporal para orientar a los equipos en futuros proyectos.
Resultado. Las iniciativas produjeron mejoras importantes:
- Rendimiento: los tiempos de respuesta de las consultas GIS y temporales disminuyeron un 40–60 %, acelerando los análisis y las decisiones.
- Fiabilidad operativa: la monitorización automatizada redujo las interrupciones un 50 %, mientras que los procesos normalizados mejoraron la productividad y redujeron los errores.
- Efecto en el negocio: la infraestructura optimizada permitió lanzar nuevos productos basados en datos, como paneles analíticos en tiempo real, y cumplir los requisitos normativos de gobernanza de datos.
Este trabajo consolidó la capacidad de la organización para abordar problemas de datos complejos.