Опубликовано: 21.09.2026 | Источник: The Verge – Tech Section

Мониторинг цен и скидок для ВКР: ETL-конвейер от парсера Woot до аналитической витрины

25 марта 2026 года Woot запустил дневную распродажу под Amazon Big Spring Sale: промокод SAVETWENTY срезает ещё 20 % от уже сниженных цен, и Mario Kart World для Switch 2 уходит за $52 вместо $79,99, а контроллер 8BitDo Pro 3 — за $37,60 вместо $69,99. Для выпускника ИТ это не новость про игры, а готовый датасет и сценарий: цена товара меняется каждые несколько часов, промокод живёт сутки, а на 12 разных площадках одна и та же карточка названа по-разному. Ровно такую задачу решает инженер данных — и именно её удобно защищать в ВКР, потому что здесь сходятся парсинг, ETL, дедупликация и аналитика.

Темы ВКР, которые вырастают из этого кейса

Как встроить материал в главы: пошагово

Глава 1. Аналитика и требования

Опишите предметную область через реальные сущности статьи: товар, карточка, цена, промокод, период действия акции, площадка. Дальше — обзор источников: официальные API маркетплейсов, фиды, HTML-страницы. Обязательно зафиксируйте ограничения: rate limit, нестабильная разметка, юридические рамки парсинга. Требования оформляйте по ГОСТ 34, а нефункциональные — по ISO/IEC 25010: производительность, надёжность, сопровождаемость. Это снимает половину вопросов комиссии на защите.

Глава 2. Проектирование и реализация

Постройте диаграмму контекста и контейнеров по C4: источник → сборщик → брокер → хранилище → витрина → BI. Ниже — фрагмент DAG, который забирает карточку и нормализует цену. Обратите внимание на идемпотентность: повторный запуск не должен плодить дубли.

from datetime import datetime, timedelta
from airflow import DAG
from airflow.operators.python import PythonOperator

def fetch_offer(offer_id: str, promo_code: str | None):
    """Забираем сырую карточку и сохраняем в raw.offers с ts."""
    payload = http_get(f"/offers/{offer_id}")
    raw_price = payload["price"]
    promo_price = apply_promo(raw_price, promo_code) if promo_code else None
    upsert("raw.offers", {
        "offer_id": offer_id,
        "raw_price": raw_price,
        "promo_price": promo_price,
        "collected_at": datetime.utcnow(),
    }, key=("offer_id", "collected_at"))

with DAG(
    dag_id="woot_price_watch",
    schedule=timedelta(minutes=15),
    start_date=datetime(2026, 3, 25),
    catchup=False,
    default_args={"retries": 3, "retry_delay": timedelta(minutes=2)},
) as dag:
    for oid in OFFER_IDS:
        PythonOperator(
            task_id=f"fetch_{oid}",
            python_callable=fetch_offer,
            op_kwargs={"offer_id": oid, "promo_code": "SAVETWENTY"},
        )

Отдельная головная боль — сопоставление карточек между площадками: «8BitDo Ultimate 2 Bluetooth Controller» и «8bitdo ultimate 2 (bluetooth)» — это один товар. Покажите каскад матчинга: точный ключ → нормализация строки → нечёткое сравнение. Метрики качества — precision и recall на размеченной выборке в 300–500 пар.

Глава 3. Тестирование и оценка эффективности

Здесь защищаются цифрами, а не словами «работает быстро». Инструментируйте конвейер через OpenTelemetry, метрики выведите в Prometheus, визуализируйте в Grafana. Минимальный набор — в таблице.

Экономический эффект считайте через TCO: сравните ручной мониторинг (часы аналитика × ставка) с автоматическим. Для магазина с 2 000 SKU и ежедневными акциями это обычно десятки часов в месяц — хороший аргумент в выводах.

Чему вы научитесь

• Проектировать ETL-конвейер со слоями raw/stage/mart и идемпотентной загрузкой.
• Настраивать сбор метрик через OpenTelemetry и Prometheus и доказывать эффективность числами.
• Строить диаграммы C4/BPMN и оформлять их по ГОСТ 19.701-90 без переделок на нормоконтроле.
• Считать precision/recall для задач дедупликации и защищать выбор порога.
• Оформлять требования по ГОСТ 34 и ISO/IEC 25010 так, чтобы комиссия видела границы системы.

Частые вопросы студентов

Источник: Woot is offering over 20 percent off Switch 2 controllers and games today (опубликовано 2026-03-25)