yandex-webmaster

Config

YANDEX_WEBMASTER_TOKEN

config/.env

webmaster:hostinfo

webmaster:verify

config/README.md

alice.sh

SESSION_ID

config/README.md

Philosophy

1. Cache-first — список сайтов, user_id кешируются надолго. Отчёты кешируются по ключу host+params. Диагностика, квоты, статусы — всегда live.
2. Context window hygiene — stdout ограничен 30 строками. Полные данные в TSV/файл. Кеш доступен через grep/rg.
3. Host resolution — все скрипты принимают

   --host <domain>

   (поиск по кешу hosts.tsv) или

   --host-id <id>

   (прямой ID). Первый вызов hosts.sh автоматически кеширует список.
4. No destructive ops — скилл не удаляет сайты, сайтмапы и фиды. Только чтение и добавление.

Workflow

STOP! Перед любым анализом:

1. Получи список сайтов:
   bash

   bash scripts/hosts.sh

2. Спроси пользователя (если сайт не очевиден из контекста):

   "О каком сайте идёт речь?
   Укажите домен или host_id из списка."

   Для поиска по кешу:
   bash

   bash scripts/hosts.sh --search "example"

   --host

   и

   hosts.sh --search

   принимают полный кириллический домен (например,

   хорошие-данные.рф

   ) или URL сайта (

   https://хорошие-данные.рф/

   ). Домен автоматически преобразуется в IDNA средствами

   python3

   ; схема и порт URL сохраняются. Латиница и готовые имена

   xn--…

   не требуют Python. Поиск по произвольной части кириллического имени не поддерживается: указывай полный домен. В кеше и результатах остаются исходные ASCII-адреса и

   host_id

   Яндекса.
3. Получи сводку по сайту:
   bash

   bash scripts/summary.sh --host example.com

4. Запускай нужные отчёты по задаче пользователя.

Scripts

bash scripts/<script>.sh --host <domain> [--action <action>] [params...]

Управление сайтами

hosts.sh

--search "text"

--no-cache

host_info.sh

add_site.sh

--url <url>

verify.sh

--action get|start

--method DNS|HTML_FILE|META_TAG

Статистика сайта

summary.sh

sqi_history.sh

--date-from

--date-to

diagnostics.sh

Поисковые запросы

popular_queries.sh

--order-by

--device

--limit

queries_history.sh

--query-id

--device

query_analytics.sh

--text-indicator

--filter-*

--region-ids

Индексация

indexing.sh

--action history|samples

important_urls.sh

--action list|history

--url

archive_export.sh

--action start|status

--task-id

Страницы в поиске

insearch.sh

--action history|samples

search_events.sh

--action history|samples

Переобход

recrawl.sh

--action submit|status|list|quota

--url

--task-id

Ссылки

internal_links.sh

--action samples|history

--indicator

external_links.sh

--action samples|history

Сайтмапы

sitemaps.sh

--action list|user-list|info|add|recrawl-limit|recrawl

Alice / Share of Voice (SSR scraping)

alice.sh

--action summary|sov|competitors|with-site|without-site|fetch

--no-cache

⚠ Нет публичного API — данные парсятся из

window._initData

HTML-страницы. Для загрузки нужен

SESSION_ID

cookie в

config/.env

. Корректный кеш используется 24 часа без загрузки страницы;

--no-cache

и

--action fetch

обновляют его принудительно. Если обновление не удалось, команда завершается с ошибкой, сохраняя прежний JSON. Диагностика и повторы: references/ALICE_EFFICIENCY.md.

Фиды и PRO

feeds.sh

--action list|add|change|add-status

--type

--region-ids

search_export.sh

--action dates|limits|start|status

regions.sh

--filter "москва"

Общие параметры

--host <domain>

--host-id <id>

http:example.com:80

--action <act>

--date-from

--date-to

--limit N

--offset N

--no-cache

Кеш-стратегия

cache/

• user_id.txt

  — ID пользователя (permanent)

• hosts.json

  +

  hosts.tsv

  — список сайтов (permanent, инвалидируется при add/verify)

• host_*/queries/*.tsv

  — результаты запросов (session, hash-keyed)

• host_*/indexing/*.tsv

  — данные индексации (session)

• host_*/insearch/*.tsv

  — данные о поиске (session)

• host_*/links/*.tsv

  — данные о ссылках (session)

• host_*/alice/init.json

  — проверенный объект Alice, общий для всех действий

  alice.sh

  , срок кеша — 24 часа

• host_*/alice/raw.html

  — последний полностью полученный HTML для диагностики, без истории версий
• Диагностика, квоты, статусы переобхода — не кешируются (always live)

Расширенные сценарии

• Добавление и верификация сайтов
• Поисковые запросы и аналитика
• Управление сайтмапами
• Статистика сайта и индексация
• Страницы в поиске
• Переобход страниц
• Битые внутренние ссылки
• Внешние ссылки
• YML-фиды
• PRO SERP экспорт
• Alice / Share of Voice (scraping)
• Расписание врачей (спецификация)

Лимиты API

• Query Analytics: 10 000 запросов/час на домен
• Скрипты автоматически обрабатывают 429 (Retry-After ≤ 60s → retry, иначе fail)
• Лимит сайтов: 1703 на аккаунт
• Лимит фидов: 5000 на сайт, 50 в batch
• Лимит export: макс. 100 комбинаций дат+URL