Data Engineer

Елабужский район, особая экономическая зона Алабуга, улица Ш-2, 4/1

Показать контакты

Описание вакансии

Обязанности:

проектирование и реализация парсеров контента;
загрузка и сохранение медиаконтента;
отчистка и предобработка данных;
настройка мониторинга (логирование, дашборты);
настройка алертов при падении источников или аномалиях в потоке данных;
менторство 2 junior-разработчиков (помощь с парсерами, обработкой медиа, тестирование);
фиксация решений и форматов данных в базе знаний.

Требования:

языки: Python (продвинутый: asyncio, aiohttp, httpx, многопоточность);
сбор данных: опыт работы с Telegram API (Telethon/Pyrogram), RSS-парсерами, веб-скрапингом (Playwright/Selenium/BeautifulSoup), API новостных сервисов;
очереди: RabbitMQ / Kafka / Redis Pub/Sub;
LLM и промпт-инжиниринг: опыт вызова LLM API для задач очистки текста, приведения к единому формату, суммаризации;
работа с медиа: загрузка изображений, видео, аудио из различных источников; базовое понимание форматов и конвертации (ffmpeg);
дедупликация: алгоритмы поиска дубликатов (SimHash, MinHash, векторное сходство текстов и изображений);
базы данных: PostgreSQL, проектирование таблиц для хранения сырых и унифицированных данных;
мониторинг ETL: опыт настройки метрик сбора данных (количество обработанных сообщений, лаг, ошибки), алертинг при сбоях;
логирование: опыт построения структурированного логирования (JSON-логи, корреляционные ID) для отслеживания пути новости через систему.

Условия:

конкурентный уровень з/п (обсуждается индивидуально);
дневная рабочая неделя 5/2 (ненормированная);
работа в крупной и стабильной компании – в структуре самой большой ОЭЗ в Европе;
релокация в г. Елабуга, Республика Татарстан;
транспорт до работы из г. Елабуга, г. Набережные Челны, г. Нижнекамск;
полис добровольного медицинского страхования;
предоставление платного жилья для иногородних;
гарантия профессионального роста;
амбициозная, проектно-ориентированная команда;
командные и спортивные игры, реализация нестандартных задач;
карьерный рост при наличии и обретении в процессе работы необходимых компетенций.