Data Engineer (Python, ETL, Web-Scraping)

Чем предстоит заниматься (Hardcore tasks): Мы строим аналитику на основе больших объемов данных с маркетплейсов и внешних сервисов. Твоя зона ответственности:

Разработка ETL-пайплайнов: Сбор, очистка и доставка данных из разнородных источников (API маркетплейсов, CRM, открытые источники) в наше хранилище.

Advanced Web-Scraping: Написание стабильных парсеров для сайтов без открытого API. Важно уметь обходить блокировки, работать с прокси и капчей, эмулировать поведение пользователя.

Работа с БД: Проектирование схем данных в PostgreSQL (Star/Snowflake schema), написание сложных SQL-запросов и их оптимизация (индексы, партиционирование).

Стабильность: Мониторинг качества данных (Data Quality) и настройка алертинга при сбоях сбора.

Интеграция: Плотная работа с Backend-командой для синхронизации форматов данных.

Python (Strong): Уверенное владение Pandas, NumPy. Обязателен опыт асинхронного программирования (asyncio, aiohttp) для ускорения сбора данных.

Scraping: Опыт работы с Beautiful Soup, Selenium/Playwright, Scrapy. Понимание работы HTTP-протокола, заголовков, cookies.

Базы данных: Отличное знание PostgreSQL (умение писать эффективные запросы, понимать план выполнения EXPLAIN).

API: Опыт интеграции с REST API (работа с токенами, пагинацией, лимитами запросов).

Data Engineering: Понимание принципов нормализации, денормализации и построения DWH.

Будет крутым плюсом (но не обязательно):

Опыт работы с брокерами сообщений (RabbitMQ / Kafka).

Навыки оркестрации задач (Airflow / Prefect / Dagster).

Опыт упаковки приложений в Docker.

Понимание специфики данных E-commerce (Uzum, Wildberries, Ozon).

Конкурентная заработная плата (обсуждается по итогам собеседования).

Интересные задачи в сфере E-commerce (Real-time данные, большие объемы).

Возможность влиять на архитектуру продукта.

Гибкий график / Удаленная работа или офис (укажите ваш формат).