{"canonical_url":"https://engineer.company/uk/portfolio/designed-and-ran-6-etl-elt-pipelines/","content_markdown":"# Спроєктувала й підтримувала 6 пайплайнів ETL/ELT\n\nСпроєктувала, реалізувала та адмініструвала 6 пайплайнів ETL/ELT, використовуючи Google BigQuery, MSSQL, PostgreSQL, shell‑скрипти, PL/pgSQL та Transact‑SQL, інтегрувавши дані для ефективної обробки через Python API.\n\n2022 – 2024\n\n**Ситуація.** Організації потрібно було консолідувати та обробляти великі обсяги табличних даних із віддаленого сховища даних, розташованого за IPsec VPN. Ці дані мали критичне значення для роботи внутрішніх аналітичних дашбордів і зовнішніх Python API, якими користувалися клієнти й партнери.\n\n**Завдання.** Мета полягала в тому, щоб спроєктувати, реалізувати та підтримувати набір надійних автоматизованих ETL/ELT‑пайплайнів, які безпечно отримують, трансформують і завантажують дані в Google BigQuery та забезпечують точність даних, продуктивність і масштабованість у всіх системах.\n\n**Дія.** Спроєктовано, реалізовано й адміністровано 6 наскрізних ETL/ELT‑пайплайнів, що охоплювали кілька технологій, зокрема Google BigQuery, MSSQL, PostgreSQL, Shell‑скрипти, PL/pgSQL і Transact‑SQL.\n\n- Налагоджено безпечні з'єднання з віддаленим сервером за IPsec VPN, щоб автоматизувати отримання даних.\n- Заплановано й виконано завантаження стиснутих архівів даних, що містили файли Parquet, CSV та .bak.\n- Розроблено скрипти на Bash і Python для розпакування й класифікації файлів за типом і схемою.\n- Резервні копії з файлів .bak відновлено в локальному екземплярі MSSQL Server за допомогою процедур RESTORE DATABASE і перевірено цілісність схеми.\n- Завантажено табличні дані в проміжні схеми в MSSQL і PostgreSQL за допомогою інструментів bcp, psql та SSIS, залежно від формату джерела.\n- Написано модульні та придатні для повторного використання процедури PL/pgSQL і T‑SQL для очищення, нормалізації та збагачення даних відповідно до бізнес‑логіки.\n- Експортовано впорядковані набори даних і таблиці в проміжні формати, стиснуто їх за допомогою gzip і безпечно передано в бакет Google Cloud Storage.\n- Автоматизовано процеси завантаження та зіставлення схем у Google BigQuery за допомогою bq CLI і Python‑скриптів для приймання даних.\n\n**Результат.** Ці автоматизовані пайплайни суттєво скоротили обсяг ручної роботи й час обробки — з понад 3 годин ручної роботи до менш ніж 20 хвилин на весь цикл, а синхронізація даних стала щоденною замість щотижневої. Продуктивність Python API, які використовували ці дані, зросла на 30%, а краща видимість даних допомогла бізнес‑аналітикам швидше доносити висновки до зацікавлених сторін. Рішення залишається масштабованим і легко розширюваним для підключення нових джерел даних у міру зростання бізнесу.\n\n---\n\n- Роль: Інженер даних\n- Категорії: [Бази даних](https://software.engineer.company/uk/categories/databases/), [PostgreSQL](https://software.engineer.company/uk/categories/postgresql/), [SQL](https://software.engineer.company/uk/categories/sql/), [Сховища даних](https://software.engineer.company/uk/categories/data-warehousing/), [Інженерія даних](https://software.engineer.company/uk/categories/data-engineering/), [Пайплайни даних (ETL/ELT)](https://software.engineer.company/uk/categories/data-pipelines/), [Хмарні технології](https://software.engineer.company/uk/categories/cloud/), [Автоматизація та CI/CD](https://software.engineer.company/uk/categories/automation/), [Мережі та VPN](https://software.engineer.company/uk/categories/networking/), [Python](https://software.engineer.company/uk/categories/python/)\n- Послуги: [Backend- та API‑розробка](https://software.engineer.company/uk/services/backend-development/), [Проєктування та моделювання баз даних](https://software.engineer.company/uk/services/database-design/), [Розробка пайплайнів даних (ETL/ELT)](https://software.engineer.company/uk/services/data-pipeline-development/), [Проєктування сховищ даних](https://software.engineer.company/uk/services/data-warehousing/), [Підготовка даних для ШІ](https://software.engineer.company/uk/services/ai-data/)\n\n\u003chttps://engineer.company/uk/portfolio/designed-and-ran-6-etl-elt-pipelines/\u003e\n","date_modified":"2026-11-12T05:34:23Z","description":"Ці автоматизовані пайплайни суттєво скоротили обсяг ручної роботи й час обробки — з понад 3 годин ручної роботи до менш ніж 20 хвилин на весь цикл, а…","formats":{"gemtext":"https://software.engineer.company/uk/portfolio/designed-and-ran-6-etl-elt-pipelines/index.gmi","gopher":"https://software.engineer.company/uk/portfolio/designed-and-ran-6-etl-elt-pipelines/gophermap","html":"https://software.engineer.company/uk/portfolio/designed-and-ran-6-etl-elt-pipelines/","json":"https://software.engineer.company/uk/portfolio/designed-and-ran-6-etl-elt-pipelines/index.json","markdown":"https://software.engineer.company/uk/portfolio/designed-and-ran-6-etl-elt-pipelines/index.md","pdf":"https://software.engineer.company/uk/portfolio/designed-and-ran-6-etl-elt-pipelines/index.pdf"},"kind":"page","language":"uk","title":"Спроєктувала й підтримувала 6 пайплайнів ETL/ELT","url":"https://software.engineer.company/uk/portfolio/designed-and-ran-6-etl-elt-pipelines/","version":1}