Data Engineer — разработка кастомных парсеров@ QLAN

О позиции

Компания QLAN является технологическим интегратором, который внедряет end-to-end ИИ-решения в бизнес-процессы крупных компаний и госсектора. Мы ищем Data Engineer для разработки кастомных парсеров и сервисов, которые будут собирать данные из различных источников, таких как социальные сети и маркетплейсы.

Чем вы будете заниматься

• Разработка кастомных парсеров под соцсети, медиахостинги и маркетплейсы.
• Реализация сервисов на Python.
• Поддержка и развитие сервисов для сбора данных.
• Работа с высоконагруженными парсерами и scrapers.
• Оптимизация работы с различными прокси-серверами и CAPTCHA.
• Обеспечение надежности и производительности сервисов.

Требования

• Опыт разработки и поддержки высоконагруженных парсеров/scrapers от 3-х лет.
• Знание Python от 3-х лет.
• Понимание типов различных прокси-серверов и принципов работы CAPTCHA.
• Опыт работы с rate limiting.
• Знание Playwright и AsyncIO, aiohttp/httpx.
• Опыт reverse engineering внутренних API веб- и мобильных приложений.
• Опыт работы с базами данных (PostgreSQL / ClickHouse / Redis).
• Отличное понимание HTTP/TCP, работы CDN, REST API, GraphQL, антибот-систем и методов их обхода.

Будет плюсом

• Опыт разработки парсеров для площадок: Instagram, YouTube, Tik Tok и других.
• Опыт работы с Grafana/Prometheus и Kubernetes.
• Знание Kafka/RabbitMQ.

Что мы предлагаем

• Проектная занятость с гибким форматом работы.
• Прямая коммуникация с техническим руководством без бюрократии.
• Возможность вырасти в полноценную техническую роль внутри компании.