Data Engineer

Мы ведущий технологический партнер Счетной палаты Российской Федерации.
АНО «Цифровой аудит» специализируется на внедрении инноваций в области Big Data и AI для создания надежных, эффективных и масштабируемых технологических решений.

Обязанности:

• Создание и поддержка аналитических хранилищ;
• Разработка и поддержка полного цикла ETL/ELT;
• Оптимизация хранилищ и поддержка в построении аналитических запросов со стороны инженерии;

Требования:

• Глубокие знания SQL:
• Вы знаете, что такое физический и логический JOIN;
• Умеете применять план запроса;
• Знакомы с индексами, партиционированием, шардированием, сжатием данных, тюнингом параметров СУБД, знаете про распределенные таблицы, параллельные вычисления, понимаете форматы ORC/parquet;
• Использовали оконные функции, ROLLUP;
• Имеете опыт работы с одной или несколькими аналитическими СУБД или платформами (Greenplum, Clickhouse, Vertica, Hive, Redshift или похожими);
• Понимание процессов Data-инженерии:
• Вы знаете, чем отличаются ETL, ELT, CDC и работали хотя бы с одним из этих data pipeline
• Понимаете OLTP и OLAP, Работали с Data Warehouse и Data Lake;
• Опыт разработки на языке программирования Python или Java:
• Использовали в работе или знаете про Apache Airflow/Apache NiFi (иные похожие инструменты)
• Вам известны инструменты Pentaho Data Integration (PDI) или Hop (иные похожие инструменты);
• Вы умеете проводить обработку структурированных данных (XML, JSON, YAML, CSV/TSV, иных)
• Сможете обработать не структурированные или слабо структурированные данные (электронные письма, логи, HTML-страницы, PDF документы, иные похожие виды данных) и извлечь из них требуемые сведения

Дополнительно:

- Имеете навыки работы с ОС Linux

- Работали с GIT

Будет плюсом, если:

- Вы имеете опыт работы с архитектурой Data Vault

- Непосредственно работали с Postgres и Clickhouse

- Работали с Hadoop и/или S3

- Понимаете, что документирование - залог успеха любой data-системы

- Способны провести анализ источника данных при "дефиците" вводной информации

- Знаете про XML, XSL, XSLT, XSD, XPath

- Умеете "чинить" невалидные данные.

Условия:

• Работа в аккредитованной IT компании с большим потенциалом
• Прозрачная система мотивации, стабильная загрузка
• Оформление в соответствии с ТК РФ
• Дружный коллектив и лояльное внимательное руководство
• Разнообразный набор социальных льгот и гарантий
• Уровень заработной платы обсудим на собеседовании