Перейти до вмісту
EngineerСофтвер
Меню
Дизайн
Українська

Engineer / Софтвер / Портфоліо

Прискорила пайплайн географічних даних у 50 разів

Зафіксувала прискорення географічного пайплайна у 50 разів у роботі засновниці для Utiligize завдяки змінам SQL і моделей даних у PostgreSQL, MS SQL та Google Cloud BigQuery.

Ситуація. Організація стикалася зі значними затримками в обробці великих обсягів географічних даних, що позначалося на ефективності ухвалення рішень на основі даних та аналітичної звітності.

Завдання. Мета полягала в тому, щоб оптимізувати пайплайн географічних даних, підвищити продуктивність і скоротити час обробки, аби аналітику даних можна було виконувати ефективніше й у реальному часі.

Дія. Ретельний аналіз наявного SQL‑коду та моделей даних у PostgreSQL, MS SQL і Google Cloud BigQuery виявив вузькі місця, пов’язані з неефективними стратегіями індексації, неоптимальною побудовою запитів і браком належних обмежень. Щоб їх усунути:

  • Моделі даних перепроєктовано, щоб нормалізувати критично важливі набори даних, і впроваджено стратегії партиціонування, які пришвидшили вибірку даних.
  • Застосовано просунуті методи індексації: індекси B‑tree і GiST у PostgreSQL, фільтровані індекси в MS SQL і кластеризацію в BigQuery.
  • Оптимізовано складні SQL‑запити: переписано підзапити, зменшено кількість з’єднань і, де це доречно, додано матеріалізовані подання.
  • Запроваджено обмеження цілісності даних, як‑от зовнішні ключі та обмеження перевірки, що гарантують узгодженість даних без шкоди для продуктивності.

Результат. Запис досягнення засновниці повідомляє про прискорення географічного пайплайна у 50 разів у межах цієї роботи. Це зафіксований результат проєкту, а не гарантія для інших наборів даних чи систем. Опублікований запис не визначає набір даних, обладнання чи процедуру порівняння.

Контакти

Ще визначаєтесь, що саме вам потрібно?

Розкажіть, що йде не так або що ви намагаєтесь побудувати. Ми скажемо, що для цього потрібно, скільки це приблизно коштуватиме і чи ми ті люди, які вам потрібні.

Від 1 400 DKK за годину, без ПДВ — і дешевша година на довшому замовленні.

welcome@engineer.company +45 50 10 61 84 Копенгаген, Данія