Saltar al contenido
EngineerSoftware
Menú
Diseño
Español

Engineer / Software / Portafolio

Flujo de datos geográficos 50 veces más rápido

Registré una mejora de 50 veces en el flujo de procesamiento de datos geográficos en el trabajo de la fundadora para Utiligize mediante cambios en SQL y en los modelos de datos en PostgreSQL, MS SQL y Google Cloud BigQuery.

Situación. La organización sufría retrasos importantes al procesar grandes conjuntos de datos geográficos, lo que afectaba a la eficiencia de los procesos de toma de decisiones basadas en datos y de los informes analíticos.

Tarea. El objetivo consistía en optimizar el flujo de procesamiento de datos geográficos para mejorar el rendimiento y reducir el tiempo de procesamiento, de modo que los análisis de datos pudieran realizarse con mayor eficacia y en tiempo real.

Acción. Se analizaron minuciosamente la programación SQL y las estructuras de modelado de datos existentes en PostgreSQL, MS SQL y Google Cloud BigQuery. Se identificaron cuellos de botella relacionados con estrategias de indexación ineficientes, diseños de consultas poco óptimos y falta de restricciones adecuadas. Para resolver estos problemas:

  • Se rediseñaron los modelos de datos para normalizar los conjuntos de datos críticos y se implementaron estrategias de particionamiento para mejorar los tiempos de recuperación de datos.
  • Se aplicaron técnicas avanzadas de indexación, incluidos índices B‑tree y GiST en PostgreSQL, índices filtrados en MS SQL y agrupación en clústeres en BigQuery.
  • Se optimizaron consultas SQL complejas mediante la refactorización de subconsultas, la reducción de operaciones de unión y la incorporación de vistas materializadas donde resultaban pertinentes.
  • Se establecieron restricciones de integridad de datos, como claves externas y restricciones de comprobación, para garantizar la coherencia de los datos sin comprometer el rendimiento.

Resultado. El registro de logros de la fundadora comunica una mejora de 50 veces en el flujo de procesamiento de datos geográficos en este encargo. Es el resultado registrado del proyecto, no una garantía para otros conjuntos de datos o sistemas. El registro publicado no especifica el conjunto de datos de la prueba de rendimiento, el hardware ni el procedimiento de comparación.

Contacto

¿Aún está definiendo lo que necesita?

Cuéntenos qué está fallando o qué intenta construir. Le diremos qué haría falta, cuánto costaría aproximadamente y si somos las personas adecuadas.

Desde 1.400 DKK por hora, sin IVA; y un precio por hora menor en una contratación más larga.

welcome@engineer.company +45 50 10 61 84 Copenhague, Dinamarca