+7 (978) 708-60-60TelegramMAX Начать продвижение
Модель и экономика

Из каких частей состоит контент-завод на Python

Портрет Алексея Зотько
Автор статьиЗотько Алексей
Опубликовано

На Python можно собрать очередь тем, хранение принятых версий и передачу материалов в CMS. Проследим за одним заданием при повторной отправке и после перезапуска процесса.

Контент-завод на Python. Три очереди карточек, скобки кода и замок от повторной отправки

Очередь тем

Заведите поля topic_id, revision, status и cms_id. После принятия темы создаётся задание на подготовку. В очередь передавайте ID и номер версии. Сам текст храните отдельно, чтобы длинный материал не терялся при остановке рабочего процесса.

Хранение версий

Воркеры подготовки могут завершаться в произвольном порядке. Перед отправкой в CMS заново проверьте, что версия ещё согласована. Для рабочего сервиса сохраняйте состояния в устойчивом хранилище: очередь внутри процесса исчезает при его завершении.

Пример журнала задания 42

СобытиеСостояние
Версия 2 одобренаready, cms_id пуст
API создал запись 71published, cms_id 71
Пришло повторное событиеПроверить версию и запись 71

Безопасный повтор выгрузки в CMS

Логика отправки выглядит так: получить задачу, прочитать состояние, проверить подтверждение, найти существующий cms_id, обновить либо создать запись, сохранить результат. Для операции создания используйте поддерживаемый площадкой способ идемпотентности или проверку по внешнему ID.

Что сохранять вне работающего процесса

  • Постоянный идентификатор темы.
  • Номер версии, одобренной для передачи.
  • Состояние отправки и идентификатор записи в CMS.

Прогон на тестовой CMS

Отправьте одну версию дважды, затем отправьте следующую версию с тем же идентификатором темы. Проверьте отдельно количество созданных записей и текст в сохранившейся. Очередь должна учитывать идентичность публикации, даже если редактор изменил заголовок между двумя попытками.

Что хранить между запусками Python

Очередь в памяти помогает распределять работу во время выполнения программы, но сама не восстанавливает состояние после перезапуска. Для рабочего процесса отдельно сохраняйте идентификатор темы, подтверждённый номер версии и адрес записи во внешнем хранилище. Проверьте восстановление на тестовой теме до передачи в расписание.

Комментарий автора

Вопросы и ответы

Хватит ли queue.Queue?

Для эксперимента в одном работающем процессе — да. При перезапуске потребуется отдельное хранение задач и прогресса.

Какие идентификаторы хранить отдельно?

Сохраните ID темы, номер версии и идентификатор записи в CMS. Заголовок может меняться и плохо подходит для поиска дубля.

Что проверять до отправки черновика?

Убедитесь, что версия принята и относится к ожидаемой теме. Сверьте, существует ли соответствующая запись на стороне CMS.

Как испытать обновление существующего материала?

Отправьте новую принятую версию с прежним ID темы. Проверьте и число записей, и текст в сохранившейся записи.

Что необходимо восстановить после остановки программы?

Состояние задания и связь с созданной публикацией. Для этого храните их вне памяти работающего процесса.

Источники и материалы

Читайте дальше