Кастомный SERP-пайплайн

Ручные проверки выдачи не масштабируются. В этой заметке — пайплайн, которым я пользуюсь для контролируемых SEO-экспериментов.

Зачем свой пайплайн

Сторонние SERP API удобны, но для исследований нужны:

• стабильные fingerprint запросов;
• воспроизводимые снимки;
• diffable структурированный экспорт.

Архитектура

Поток намеренно простой:

1. Очередь ключевых слов с locale и device-профилем.
2. Fetch через контролируемого воркера.
3. Нормализация title, URL и позиций.
4. JSON-снимки и diff между датами.

serp fetch --keywords keywords.txt --locale ru-RU --out ./snapshots
serp diff ./snapshots/2026-08-01.json ./snapshots/2026-08-13.json

Что сработало

• Смотреть на SERP как на time-series, а не разовые скриншоты.
• Версионировать парсеры рядом со снимками.

Что не сработало

• Жёсткая привязка к одному HTML-шаблону без fallback-селекторов.

Это demo-контент для lab-сайта. Полные заметки по инструменту — в разделе Tools.