Flujo de datos geográficos 50 veces más rápido
Registré una mejora de 50 veces en el flujo de procesamiento de
datos geográficos en el trabajo de la fundadora para Utiligize
mediante cambios en SQL y en los modelos de datos en PostgreSQL, MS
SQL y Google Cloud BigQuery.
2022 – 2024

Situación. La organización sufría retrasos importantes al procesar
grandes conjuntos de datos geográficos, lo que afectaba a la
eficiencia de los procesos de toma de decisiones basadas en datos y
de los informes analíticos.

Tarea. El objetivo consistía en optimizar el flujo de procesamiento
de datos geográficos para mejorar el rendimiento y reducir el tiempo
de procesamiento, de modo que los análisis de datos pudieran
realizarse con mayor eficacia y en tiempo real.

Acción. Se analizaron minuciosamente la programación SQL y las
estructuras de modelado de datos existentes en PostgreSQL, MS SQL y
Google Cloud BigQuery. Se identificaron cuellos de botella
relacionados con estrategias de indexación ineficientes, diseños de
consultas poco óptimos y falta de restricciones adecuadas. Para
resolver estos problemas:

  * Se rediseñaron los modelos de datos para normalizar los
conjuntos de datos críticos y se implementaron estrategias de
particionamiento para mejorar los tiempos de recuperación de datos.

  * Se aplicaron técnicas avanzadas de indexación, incluidos índices
B‑tree y GiST en PostgreSQL, índices filtrados en MS SQL y
agrupación en clústeres en BigQuery.

  * Se optimizaron consultas SQL complejas mediante la
refactorización de subconsultas, la reducción de operaciones de
unión y la incorporación de vistas materializadas donde resultaban
pertinentes.

  * Se establecieron restricciones de integridad de datos, como
claves externas y restricciones de comprobación, para garantizar la
coherencia de los datos sin comprometer el rendimiento.

Resultado. El registro de logros de la fundadora comunica una mejora
de 50 veces en el flujo de procesamiento de datos geográficos en
este encargo. Es el resultado registrado del proyecto, no una
garantía para otros conjuntos de datos o sistemas. El registro
publicado no especifica el conjunto de datos de la prueba de
rendimiento, el hardware ni el procedimiento de comparación.

Categorías:
1Bases de datos	/es/categories/databases/	software.engineer.company	70
1PostgreSQL	/es/categories/postgresql/	software.engineer.company	70
1SQL	/es/categories/sql/	software.engineer.company	70
1Almacenes de datos	/es/categories/data-warehousing/	software.engineer.company	70
1Ingeniería de datos	/es/categories/data-engineering/	software.engineer.company	70
1Flujos de datos (ETL/ELT)	/es/categories/data-pipelines/	software.engineer.company	70
1Gobernanza de datos	/es/categories/data-governance/	software.engineer.company	70
1Optimización del rendimiento	/es/categories/performance/	software.engineer.company	70
1GIS / Información geoespacial	/es/categories/gis/	software.engineer.company	70

Servicios:
1Soluciones GIS y geoespaciales	/es/services/gis-geospatial/	software.engineer.company	70
1Optimización del rendimiento de bases de datos	/es/services/database-performance/	software.engineer.company	70
1Desarrollo de flujos de datos (ETL/ELT)	/es/services/data-pipeline-development/	software.engineer.company	70
1Diseño de almacenes de datos	/es/services/data-warehousing/	software.engineer.company	70
1Preparación de datos para IA	/es/services/ai-data/	software.engineer.company	70

hEsta página en la web	URL:https://software.engineer.company/es/portfolio/made-a-geographical-data-pipeline-50x-faster/	software.engineer.company	70
