TOPZNANIE

Цифровая практика без сложностей

Выберите город
MET Norway · CC BY 4.0
← На главную

· Общий обзор

Отправляю страницы на переобход в Яндекс.Вебмастер скриптом через браузер, потому что API отвечает 504

В начале ноября я полез проверить, как мой блог выглядит в Яндексе, и обнаружил, что всё вышедшее после 7 октября в поиск не попало. Статьи выходят по расписанию три раза в неделю, они есть в sitemap, IndexNow на каждую отвечает 202, YandexBot по журналу nginx приходит каждый день. А запрос url: по любой новой статье ничего не находит, и так уже месяц.

Помогла кнопка, до которой у меня раньше не доходили руки: отправка на переобход в кабинете Вебмастера. 10 ноября я отправил туда 10 адресов, на следующий день робот забрал 9 из них, а события в API показали «появилась в поиске» у семи. Руками каждый день лень, написал скрипт.

Домен в коде ниже заменён на example.com, остальное взято из рабочего файла почти без правок.

API

У Вебмастера есть метод POST /v4/user/{user_id}/hosts/{host_id}/recrawl/queue/. 10 ноября он на каждый адрес, включая главную, отвечал 504 Gateway Timeout. Самое странное, что остальной API в это же время работал нормально: и список страниц в поиске, и события, и запросы отдавались без проблем. Метод квоты переобхода при этом показывал 150 и 140 оставшихся, хотя в кабинете в тот же день был лимит 10 адресов в сутки на сайт, поддомены считаются вместе с основным. Какой цифре верить, я разбираться не стал. Кабинет в браузере принимал адреса, поэтому скрипт работает через браузер.

Браузером управляет playwright-cli, он подключается к уже открытому окну Chrome с отдельным профилем, в котором я один раз вошёл в Яндекс руками. Пароля скрипт не знает. Запускает его launchd на маке в 10:45 по Москве, через 15 минут после того, как сервер выкладывает статью дня. За сутки скрипт отправляет не больше, чем разрешает кабинет, то есть столько же, сколько я мог бы отправить руками.

Какие 10 адресов отправить

10 в день немного, поэтому почти весь код про то, что отправлять. Источников три:

def candidates(): today = str(datetime.date.today()) queue = [ln for ln in QUEUE.read_text().splitlines() if ln.strip()] if QUEUE.exists() else [] order = [to_url(s) for d, s in posts() if d == today] + [to_url(s) for s in queue] + not_in_search() skip = recently_sent() seen, out = set(), [] for u in order: fresh_or_queued = u not in skip or u in [to_url(s) for s in queue] if u not in seen and fresh_or_queued: seen.add(u) out.append(u) return out, queue

Статья, вышедшая сегодня, идёт первой. За ней ручная очередь, это текстовый файл, куда я по строке дописываю slug или адрес переписанной статьи. И в конце всё вышедшее, чего нет в поиске по данным API. Адрес, отправленный за последние 14 дней, повторно из третьего источника не берётся, а вот из ручной очереди берётся всегда: раз я его туда положил, значит, так надо.

Третий источник тянется через API, и тот иногда падает, так что при ошибке функция просто возвращает пустой список:

def not_in_search(): try: report.load_env() tok = os.environ[«YANDEX_OAUTH_TOKEN»] uid = report.get(«https://api.webmaster.yandex.net/v4/user/», tok)[«user_id»] base = f»https://api.webmaster.yandex.net/v4/user/{uid}/hosts/{report.HOST_ID}» found = {x[«url»] for x in report.get(f»{base}/search-urls/in-search/samples/?limit=100″, tok)[«samples»]} except Exception as e: print(f»⚠️ API Вебмастера: {e}») return [] return [to_url(s) for _, s in reversed(posts()) if to_url(s) not in found]

Пригодилось это в первый же боевой день. Вот кусок лога от 12 ноября:

── 2026-11-12 10:46 ── ⚠️ API Вебмастера: <urlopen error [Errno 8] nodename nor servname provided, or not known> свободно сегодня: 10, к отправке: 10 https://example.com/blog/kursy-po-vajb-kodingu.html https://example.com/blog/modeli-v-claude-code.html … ✅ принято Яндексом: 10 из 10, в очереди файла осталось 4

У мака в момент запуска не резолвился DNS, API отвалился, а ручная очередь всё равно ушла целиком. Почему DNS не работал, я до сих пор не понял, в соседние дни около десяти утра мак так же не мог достучаться до сервера по ssh.

Перед отправкой каждый адрес проверяется HEAD-запросом. Пару статей я удалил и закрыл 301 на соседние, и тратить на редирект одну попытку из десяти было бы жалко:

def alive(url): try: with urllib.request.urlopen(urllib.request.Request(url, method=»HEAD»), timeout=20) as r: return r.status == 200 and r.url == url except Exception: return False

Сколько попыток осталось на сегодня, скрипт считает по таблице заявок в самом кабинете, потому что я иногда отправляю что-то руками, а свой журнал об этом не знает:

def sent_today(): d = datetime.date.today().strftime(«%d.%m.%Y») return js(f»() => […document.querySelectorAll(‘tr’)].filter(r => r.innerText.includes(‘{d}’)).length»)

Серая кнопка «Отправить»

Первая версия вставляла адреса в textarea через JavaScript: присвоить value, отправить событие input. Поле заполнялось, а кнопка «Отправить» оставалась серой. Видимо, интерфейс следит за полем как-то по-своему, и синтетического события ему мало. Заработало с командой fill из Playwright, после неё кнопка включается так же, как от живого набора:

cli(«fill», «textarea», «n».join(batch)) subprocess.run([«sleep», «2»]) clicked = js(«() => { const b = […document.querySelectorAll(‘button’)]» «.find(b => b.innerText.trim() === ‘Отправить’);» » if (!b || b.disabled) return false; b.click(); return true }»)

Пока я с этим возился, я смотрел на текстовый снимок страницы (accessibility snapshot), который отдаёт playwright-cli, и он меня обманул. В тот день лимит был уже потрачен, нажать кнопку было нельзя, а в снимке она выглядела обычной. С тех пор состояние кнопки скрипт проверяет только через b.disabled в самой странице.

Из-за того же потраченного лимита я не смог в тот день проверить отправку целиком: кабинет до следующих суток ничего не принимает. Пришлось сделать —dry-run, который проходит все шаги, кроме клика, и печатает, что ушло бы.

После отправки

Скрипт перечитывает таблицу заявок: «В очереди» или «Заявка обработана» считаю принятым, вычёркиваю из ручной очереди, остальное шлю себе в Телеграм. Нет поля для адресов на странице, значит, слетел вход, и тут скрипт просто просит меня войти.

Унести всё это на сервер, где живёт остальная автоматика блога, я не решился. Вход в Яндекс из headless-браузера в датацентре почти наверняка упрётся в проверки безопасности, а с переносом сохранённой сессии между машинами у меня уже был неприятный опыт с другим сервисом. Если мак в 10:45 спит, launchd запустит пропущенное задание, когда он проснётся.

По цифрам на сейчас: первый боевой прогон 12 ноября, принято 10 из 10, за три дня с учётом двух ручных отправок ушло 30 адресов, страниц в поиске 45, было 41. Цифры не чистые, часть статей я в те же дни переписал, потому что Яндекс снимал их как «малоценные».

Теги:

  • Яндекс.Вебмастер
  • переобход
  • Playwright
  • индексация
  • автоматизация

Хабы:

  • Поисковая оптимизация
  • Python
  • Веб-аналитика