Каталог объектов АН «Союз» (Калуга): каждые 30 минут GitHub Actions забирает XML-фид JoyWork и публикует компактный JSON для сайта soyuzkaluga.ru.
scripts/convert.mjs— конвертер Yandex Realty XML → JSON (без зависимостей).github/workflows/update.yml— автообновление по расписаниюdata/— сгенерированные данные (обновляются роботом)
- Список карточек:
https://raw.githubusercontent.com/ludmilakulesova158-hue/soyuz-catalog/main/data/cards.json - Метаданные (кол-во, дата обновления):
https://raw.githubusercontent.com/ludmilakulesova158-hue/soyuz-catalog/main/data/meta.json - Полный объект по ID:
https://raw.githubusercontent.com/ludmilakulesova158-hue/soyuz-catalog/main/data/objects/<id>.json
- Если фид отдал 0 объектов или объектов стало меньше половины — данные не перезаписываются, сайт продолжает показывать последнюю корректную версию.
- Запустить обновление вручную: Actions → update-catalog → Run workflow.
- Отдельные страницы объектов (
/object?id=…) не делаем. Клиент отказался (13.11.2026). Карточка открывает модалку-предпросмотр с фото и характеристиками; переход на отдельную страницу не нужен. - Осталось до запуска: чистка демо-товаров (+3 в корзине), удаление старого каталога и фильтра с главной, перенос каталога на главную, проверка на компьютере и телефоне.
- Макет: заголовок/адрес/цена/характеристики слева (16px), справа — риелтор (фото 88px слева, имя справа, телефон 18px). Мобильный (≤820px) компактный: фото 128×86, характеристики 16px/1.25, риелтор фото 64, примечание скрыто, окно по высоте контента (max 92dvh), по центру экрана — риелтор и телефон видны без прокрутки.
- Исходник:
scripts/catalog-block.v2.html. - Предпросмотр: https://soyuzkaluga.ru/catalog-v2 — дубль страницы
384229209, блок5788821601, noindex, шапка сайта скрыта через head-code. Оригинал/catalog-testи боевой блок5757058701не тронуты. - Перенос в боевой каталог — после согласования.
- MAX: без ссылки (MAX не поддерживает переход по номеру, max.ru на телефоне открывает лендинг). В попапе под телефоном только текст «Этот же номер для MAX» (13,5px; иконки нет). Прямого перехода нет; когда клиент пришлёт share-ссылку — заменить на ссылку.
- Каталог перенесён на главную 366186609: блок 5793809001 (tplid 1370) сразу после героя, заголовок внутри — h2.
- Удалены старые блоки: фильтр 5719876301, каталог Tilda 5719894401, JS 5719920101. В блоках 5732033301 и 5720056801 убраны устаревшие CSS-правила старого фильтра (фон, 4 колонки, стили вкладок).
- В head-code главной добавлены стили/JS подсказки лайтбокса; мини-шапка .vbch и черновая подпись скрыты только в этом блоке.
- Пагинация: 20 карточек на экранах шире 560px, 15 на ≤560px; «Показать ещё» прибавляет столько же. При переходе через 560px список сбрасывается на первую страницу.
- Бэкап главной до правок: страница 384590109 (не опубликована).
- Draft-страницы catalog-test и catalog-v2 остались (noindex) как рабочие копии.
Причина: GitHub Actions ходит с зарубежных IP, а joywork.ru их периодически режет; крон GitHub душится и даёт разрывы 2–4 часа. Локальный робот на ПК удалён (14.11.2026).
- Бакет
soyuz-catalog-data— публичное чтение, CORS*, кэш 60 с (meta.json,cards.json) и 3600 с (объекты). Данные в РФ, ПДн агентов за границу не уезжают. - Функция
soyuz-catalog(Node.js 22) — тот же конвертер. Если фид не менялся, запрос уходит условный (If-None-Matchпо сохранённомуfeedEtag) и сервер отвечает304без передачи 1,7 МБ; при неизменномgeneration-dateданные не перезаписываются (обновляется толькоstatus.json). - Триггер
soyuz-catalog-timer, cron*/15(фактическая задержка запуска до ~1 минуты). Раз в 5 минут не нужно: условный запрос и так почти ничего не стоит, но 15 минут выбраны как компромисс по свежести и расходу. - Отказоустойчивость: если Yandex недоступен (лимит гранта, сбой), блок на главной автоматически переключается на GitHub-данные — страница продолжает работать.
- GitHub-резерв актуален: после каждого обновления функция делает один коммит в репозиторий (Git Data API, без Actions), включая удаление выпавших объектов. GitHub Actions отключены (14.11.2026) — они не забирают фид с зарубежных IP и перетирали бы свежие данные старыми.
- Экономия запросов: на странице кэш каталога 10 минут, фоновый опрос 10 минут, возврат
к вкладке обновляет не чаще раза в минуту; объекты в бакете кэшируются 6 часов
(адреса содержат
?v=<generated>),meta.json/cards.json— 60 секунд. - Публичный URL:
https://storage.yandexcloud.net/soyuz-catalog-data/ - Подробности и идентификаторы:
yc/deploy.md, исходник функции —yc/index.js. - Каталоги поменяны местами (14.11.2026): главная
5793809001берёт данные из Yandex (запасной источник — GitHub),/catalog-v3(386001209) — из GitHub. База данных в блоке задаётся атрибутомdata-data-baseу#vb-cat-root; на главной заголовок каталога —h2.
- Данные: 404 объекта (386 продажа / 18 аренда), задержка от фида до 15 минут.
- Главная — Yandex (fallback GitHub);
/catalog-v3— GitHub, используется как резерв и тест. - GitHub-зеркало обновляется функцией (один коммит на изменение), Actions отключены.
- Локальный робот на ПК удалён; репозиторий перенесён в
D:\Projects\kaluga-zhk\soyuz-catalog. - Расход: 0,00011 ₽ за 30 дней; грант 4 000 ₽ действует до ~12.01.2027; бюджет-уведомление не настроено (решили сначала снизить запросы).
- Клиент: CommerceML невозможен (официальный ответ JoyWork), iframe-каталог отклонён. Метки «Акция»/«Хит» возможны через своё поле в XML-фиде — ждём тестовое значение в фиде. Клиенту отправлено письмо с выбором: МойСклад (≈5 940 ₽/год «Старт») или аккаунт Yandex Cloud.
- Метки «Акция»/«Хит»: парсинг поля, плашки на карточке и в попапе, возможно старая цена и подборка.
- Чистка GitHub:
data/, переписывание истории, force-push; перевыпускGH_TOKEN. - Перенос облака в аккаунт клиента; бюджет-уведомление на 100 ₽.
- Коммит текущих правок (
yc/, README, изменённые скрипты).
Скрипты администрирования (авторизация в Yandex API, S3-подпись, Tilda MCP) не версионируются:
временная папка с ними очищается системой, при необходимости восстанавливаются по yc/deploy.md.
Робот переведён в режим без ручного вмешательства:
- Запись только изменившихся объектов. Функция хранит
manifest.json(id -> sha1 содержимого). На каждом обновлении пишутся только новые и изменённые файлы, остальные не трогаются; объекты, выпавшие из фида, удаляются по манифесту. Полная сверка с хранилищем — при первом запуске, поforceи раз в сутки. - Сокращение базы более чем вдвое больше не требует ручного запуска: изменение фиксируется
в
pending.json, и если следующий прогон его подтверждает, обновление применяется само. Если фид вернулся к норме — данные не меняются. - Сбои видны: любая ошибка пишется в
status.json(result: errorилиhold) с причиной, а не остаётся молчанием. - Расход: было ~18,8 тыс. PUT в сутки (~5 ₽/сутки, всё в гранте) — стало ~200 PUT в сутки (~0,06 ₽/сутки).
- Проверено на отдельном тестовом бакете: полная запись -> повтор (304) -> удаление 5 объектов
(
written 0,removed 5) -> сокращение базы (hold, данные сохранены) -> подтверждение (применено,removed 12). Тестовый бакет удалён.
- Суточная страховка
recheck. Раз в 24 часа (полеrecheckAtвmanifest.json) функция перечитывает фид, игнорируяETag, но с обычным сравнением по хешам. Защита от случая, когда сервер фида отвечает304при реальных изменениях, и от «залипшего»generation-date. Проверено ручным запуском:written 0, GitHub-коммит не создан,recheckAtобновился. - Правка без смены
generation-dateбольше не теряется. Пропуск обновления теперь только если совпали и дата генерации, иETag. cards.jsonотдаётся сжатым (Content-Encoding: gzip): 163 КБ -> 33 КБ, экономия трафика ~5×. Браузер распаковывает прозрачно; в GitHub-зеркале файл остаётся обычным JSON.- Пустые коммиты в GitHub убраны: если дерево не изменилось,
syncGitHubвозвращаетskipped: true. Это важно именно для суточногоrecheck. - Стоимость после этих правок: PUT ~290/сутки (0,14 ₽/мес), трафик при 100 просмотрах/сутки ~0,2 ГБ (0,3 ₽/мес) за счёт gzip; функция и логи — копейки. Ориентир: 0,5–2 ₽/мес при 100–300 просмотрах в сутки. Грант 4 000 ₽ действует 60 дней (до ~12.01.2027).
- Инструменты администрирования теперь в репозитории:
yc/tools/yc.cjs(whoami | versions | trigger | deploy | invoke recheck). Сеть в нём идёт черезnode:https: глобальныйfetchна этой машине нестабилен к*.yandex.net(connect timeout), тогда какcurlи сыройhttpsработают. Ключ SA —C:\Users\admin\Downloads\authorized_key.json. - Деплой: собрать
yc/fn.zipизindex.js+package.json, затемnode yc/tools/yc.cjs deploy.
Робот перенесён в аккаунт клиента (организация «СОЮЗ», SoyuzKaluga@yandex.ru):
- облако
soyuz/b1ggp8uja4eihgtgpkoi, каталогdefault/b1gabnr36mv0oqh9rdc6; - сервисный аккаунт
soyuz-bot/aje0s1lt817bvb09cdq5(editor,storage.admin); - бакет
soyuz-catalog-data-kaluga— имя пришлось сменить: имена бакетов в Object Storage глобально уникальны, старый адрес занят аккаунтом пользователя; - функция
soyuz-catalog/d4enc8g0rbu0pjptbja5, триггер*/15/a1s5jrhkn3m3mhm0e2jj; - блок на главной пересобран (
data-data-base→ новый бакет) и страница опубликована; - проверено: 403 объекта, анонимное чтение 200,
cards.jsonв gzip, CORS*, таймер отработал сам.
Старый аккаунт оставлен резервом на 7–14 дней. Триггер там удалён 16.11.2026 23:30 UTC, поэтому
данные в soyuz-catalog-data заморожены на 23:15 UTC и расходы аккаунта пользователя остановлены.
Откат — вернуть прежний data-data-base в блоке и перепубликовать страницу (данные будут
на момент заморозки); для «живого» отката — заново создать там триггер.
Осталось: перенос/решение по GitHub-репозиторию, замена GH_TOKEN, бюджет 100 ₽ в биллинге клиента,
удаление старого аккаунта и временного авторизованного ключа, коммит yc/.