Skip to content

About

Catalog objects AN Soyuz (Kaluga) - auto-update from JoyWork XML feed

Resources

Stars

0 stars

Watchers

0 watching

Forks

Latest commit

 

History

162 Commits

Folders and files

NameName
Last commit message
Last commit date
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

soyuz-catalog

Каталог объектов АН «Союз» (Калуга): каждые 30 минут GitHub Actions забирает XML-фид JoyWork и публикует компактный JSON для сайта soyuzkaluga.ru.

Что здесь

  • scripts/convert.mjs — конвертер Yandex Realty XML → JSON (без зависимостей)
  • .github/workflows/update.yml — автообновление по расписанию
  • data/ — сгенерированные данные (обновляются роботом)

Ссылки для сайта

  • Список карточек: https://raw.githubusercontent.com/ludmilakulesova158-hue/soyuz-catalog/main/data/cards.json
  • Метаданные (кол-во, дата обновления): https://raw.githubusercontent.com/ludmilakulesova158-hue/soyuz-catalog/main/data/meta.json
  • Полный объект по ID: https://raw.githubusercontent.com/ludmilakulesova158-hue/soyuz-catalog/main/data/objects/<id>.json

Защита от сбоев

  • Если фид отдал 0 объектов или объектов стало меньше половины — данные не перезаписываются, сайт продолжает показывать последнюю корректную версию.
  • Запустить обновление вручную: Actions → update-catalog → Run workflow.

Решения клиента

  • Отдельные страницы объектов (/object?id=…) не делаем. Клиент отказался (13.11.2026). Карточка открывает модалку-предпросмотр с фото и характеристиками; переход на отдельную страницу не нужен.
  • Осталось до запуска: чистка демо-товаров (+3 в корзине), удаление старого каталога и фильтра с главной, перенос каталога на главную, проверка на компьютере и телефоне.

Попап v2 (13.11.2026)

  • Макет: заголовок/адрес/цена/характеристики слева (16px), справа — риелтор (фото 88px слева, имя справа, телефон 18px). Мобильный (≤820px) компактный: фото 128×86, характеристики 16px/1.25, риелтор фото 64, примечание скрыто, окно по высоте контента (max 92dvh), по центру экрана — риелтор и телефон видны без прокрутки.
  • Исходник: scripts/catalog-block.v2.html.
  • Предпросмотр: https://soyuzkaluga.ru/catalog-v2 — дубль страницы 384229209, блок 5788821601, noindex, шапка сайта скрыта через head-code. Оригинал /catalog-test и боевой блок 5757058701 не тронуты.
  • Перенос в боевой каталог — после согласования.
  • MAX: без ссылки (MAX не поддерживает переход по номеру, max.ru на телефоне открывает лендинг). В попапе под телефоном только текст «Этот же номер для MAX» (13,5px; иконки нет). Прямого перехода нет; когда клиент пришлёт share-ссылку — заменить на ссылку.

Каталог на главной (13.11.2026)

  • Каталог перенесён на главную 366186609: блок 5793809001 (tplid 1370) сразу после героя, заголовок внутри — h2.
  • Удалены старые блоки: фильтр 5719876301, каталог Tilda 5719894401, JS 5719920101. В блоках 5732033301 и 5720056801 убраны устаревшие CSS-правила старого фильтра (фон, 4 колонки, стили вкладок).
  • В head-code главной добавлены стили/JS подсказки лайтбокса; мини-шапка .vbch и черновая подпись скрыты только в этом блоке.
  • Пагинация: 20 карточек на экранах шире 560px, 15 на ≤560px; «Показать ещё» прибавляет столько же. При переходе через 560px список сбрасывается на первую страницу.
  • Бэкап главной до правок: страница 384590109 (не опубликована).
  • Draft-страницы catalog-test и catalog-v2 остались (noindex) как рабочие копии.

Yandex Cloud: робот в РФ (14.11.2026)

Причина: GitHub Actions ходит с зарубежных IP, а joywork.ru их периодически режет; крон GitHub душится и даёт разрывы 2–4 часа. Локальный робот на ПК удалён (14.11.2026).

  • Бакет soyuz-catalog-data — публичное чтение, CORS *, кэш 60 с (meta.json, cards.json) и 3600 с (объекты). Данные в РФ, ПДн агентов за границу не уезжают.
  • Функция soyuz-catalog (Node.js 22) — тот же конвертер. Если фид не менялся, запрос уходит условный (If-None-Match по сохранённому feedEtag) и сервер отвечает 304 без передачи 1,7 МБ; при неизменном generation-date данные не перезаписываются (обновляется только status.json).
  • Триггер soyuz-catalog-timer, cron */15 (фактическая задержка запуска до ~1 минуты). Раз в 5 минут не нужно: условный запрос и так почти ничего не стоит, но 15 минут выбраны как компромисс по свежести и расходу.
  • Отказоустойчивость: если Yandex недоступен (лимит гранта, сбой), блок на главной автоматически переключается на GitHub-данные — страница продолжает работать.
  • GitHub-резерв актуален: после каждого обновления функция делает один коммит в репозиторий (Git Data API, без Actions), включая удаление выпавших объектов. GitHub Actions отключены (14.11.2026) — они не забирают фид с зарубежных IP и перетирали бы свежие данные старыми.
  • Экономия запросов: на странице кэш каталога 10 минут, фоновый опрос 10 минут, возврат к вкладке обновляет не чаще раза в минуту; объекты в бакете кэшируются 6 часов (адреса содержат ?v=<generated>), meta.json/cards.json — 60 секунд.
  • Публичный URL: https://storage.yandexcloud.net/soyuz-catalog-data/
  • Подробности и идентификаторы: yc/deploy.md, исходник функции — yc/index.js.
  • Каталоги поменяны местами (14.11.2026): главная 5793809001 берёт данные из Yandex (запасной источник — GitHub), /catalog-v3 (386001209) — из GitHub. База данных в блоке задаётся атрибутом data-data-base у #vb-cat-root; на главной заголовок каталога — h2.

Текущее состояние (14.11.2026)

  • Данные: 404 объекта (386 продажа / 18 аренда), задержка от фида до 15 минут.
  • Главная — Yandex (fallback GitHub); /catalog-v3 — GitHub, используется как резерв и тест.
  • GitHub-зеркало обновляется функцией (один коммит на изменение), Actions отключены.
  • Локальный робот на ПК удалён; репозиторий перенесён в D:\Projects\kaluga-zhk\soyuz-catalog.
  • Расход: 0,00011 ₽ за 30 дней; грант 4 000 ₽ действует до ~12.01.2027; бюджет-уведомление не настроено (решили сначала снизить запросы).
  • Клиент: CommerceML невозможен (официальный ответ JoyWork), iframe-каталог отклонён. Метки «Акция»/«Хит» возможны через своё поле в XML-фиде — ждём тестовое значение в фиде. Клиенту отправлено письмо с выбором: МойСклад (≈5 940 ₽/год «Старт») или аккаунт Yandex Cloud.

Отложено до решения клиента

  1. Метки «Акция»/«Хит»: парсинг поля, плашки на карточке и в попапе, возможно старая цена и подборка.
  2. Чистка GitHub: data/, переписывание истории, force-push; перевыпуск GH_TOKEN.
  3. Перенос облака в аккаунт клиента; бюджет-уведомление на 100 ₽.
  4. Коммит текущих правок (yc/, README, изменённые скрипты).

Скрипты администрирования (авторизация в Yandex API, S3-подпись, Tilda MCP) не версионируются: временная папка с ними очищается системой, при необходимости восстанавливаются по yc/deploy.md.

Автономная работа (15.11.2026)

Робот переведён в режим без ручного вмешательства:

  • Запись только изменившихся объектов. Функция хранит manifest.json (id -> sha1 содержимого). На каждом обновлении пишутся только новые и изменённые файлы, остальные не трогаются; объекты, выпавшие из фида, удаляются по манифесту. Полная сверка с хранилищем — при первом запуске, по force и раз в сутки.
  • Сокращение базы более чем вдвое больше не требует ручного запуска: изменение фиксируется в pending.json, и если следующий прогон его подтверждает, обновление применяется само. Если фид вернулся к норме — данные не меняются.
  • Сбои видны: любая ошибка пишется в status.json (result: error или hold) с причиной, а не остаётся молчанием.
  • Расход: было ~18,8 тыс. PUT в сутки (~5 ₽/сутки, всё в гранте) — стало ~200 PUT в сутки (~0,06 ₽/сутки).
  • Проверено на отдельном тестовом бакете: полная запись -> повтор (304) -> удаление 5 объектов (written 0, removed 5) -> сокращение базы (hold, данные сохранены) -> подтверждение (применено, removed 12). Тестовый бакет удалён.

Надёжность и трафик (16.11.2026)

  • Суточная страховка recheck. Раз в 24 часа (поле recheckAt в manifest.json) функция перечитывает фид, игнорируя ETag, но с обычным сравнением по хешам. Защита от случая, когда сервер фида отвечает 304 при реальных изменениях, и от «залипшего» generation-date. Проверено ручным запуском: written 0, GitHub-коммит не создан, recheckAt обновился.
  • Правка без смены generation-date больше не теряется. Пропуск обновления теперь только если совпали и дата генерации, и ETag.
  • cards.json отдаётся сжатым (Content-Encoding: gzip): 163 КБ -> 33 КБ, экономия трафика ~5×. Браузер распаковывает прозрачно; в GitHub-зеркале файл остаётся обычным JSON.
  • Пустые коммиты в GitHub убраны: если дерево не изменилось, syncGitHub возвращает skipped: true. Это важно именно для суточного recheck.
  • Стоимость после этих правок: PUT ~290/сутки (0,14 ₽/мес), трафик при 100 просмотрах/сутки ~0,2 ГБ (0,3 ₽/мес) за счёт gzip; функция и логи — копейки. Ориентир: 0,5–2 ₽/мес при 100–300 просмотрах в сутки. Грант 4 000 ₽ действует 60 дней (до ~12.01.2027).
  • Инструменты администрирования теперь в репозитории: yc/tools/yc.cjs (whoami | versions | trigger | deploy | invoke recheck). Сеть в нём идёт через node:https: глобальный fetch на этой машине нестабилен к *.yandex.net (connect timeout), тогда как curl и сырой https работают. Ключ SA — C:\Users\admin\Downloads\authorized_key.json.
  • Деплой: собрать yc/fn.zip из index.js + package.json, затем node yc/tools/yc.cjs deploy.

Миграция в аккаунт клиента (16.11.2026)

Робот перенесён в аккаунт клиента (организация «СОЮЗ», SoyuzKaluga@yandex.ru):

  • облако soyuz / b1ggp8uja4eihgtgpkoi, каталог default / b1gabnr36mv0oqh9rdc6;
  • сервисный аккаунт soyuz-bot / aje0s1lt817bvb09cdq5 (editor, storage.admin);
  • бакет soyuz-catalog-data-kaluga — имя пришлось сменить: имена бакетов в Object Storage глобально уникальны, старый адрес занят аккаунтом пользователя;
  • функция soyuz-catalog / d4enc8g0rbu0pjptbja5, триггер */15 / a1s5jrhkn3m3mhm0e2jj;
  • блок на главной пересобран (data-data-base → новый бакет) и страница опубликована;
  • проверено: 403 объекта, анонимное чтение 200, cards.json в gzip, CORS *, таймер отработал сам.

Старый аккаунт оставлен резервом на 7–14 дней. Триггер там удалён 16.11.2026 23:30 UTC, поэтому данные в soyuz-catalog-data заморожены на 23:15 UTC и расходы аккаунта пользователя остановлены. Откат — вернуть прежний data-data-base в блоке и перепубликовать страницу (данные будут на момент заморозки); для «живого» отката — заново создать там триггер.

Осталось: перенос/решение по GitHub-репозиторию, замена GH_TOKEN, бюджет 100 ₽ в биллинге клиента, удаление старого аккаунта и временного авторизованного ключа, коммит yc/.

About

Catalog objects AN Soyuz (Kaluga) - auto-update from JoyWork XML feed

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages