Из каких частей состоит контент-завод на Python

На Python можно собрать очередь тем, хранение принятых версий и передачу материалов в CMS. Проследим за одним заданием при повторной отправке и после перезапуска процесса.

Очередь тем
Заведите поля topic_id, revision, status и cms_id. После принятия темы создаётся задание на подготовку. В очередь передавайте ID и номер версии. Сам текст храните отдельно, чтобы длинный материал не терялся при остановке рабочего процесса.
Хранение версий
Воркеры подготовки могут завершаться в произвольном порядке. Перед отправкой в CMS заново проверьте, что версия ещё согласована. Для рабочего сервиса сохраняйте состояния в устойчивом хранилище: очередь внутри процесса исчезает при его завершении.
Пример журнала задания 42
| Событие | Состояние |
|---|---|
| Версия 2 одобрена | ready, cms_id пуст |
| API создал запись 71 | published, cms_id 71 |
| Пришло повторное событие | Проверить версию и запись 71 |
Безопасный повтор выгрузки в CMS
Логика отправки выглядит так: получить задачу, прочитать состояние, проверить подтверждение, найти существующий cms_id, обновить либо создать запись, сохранить результат. Для операции создания используйте поддерживаемый площадкой способ идемпотентности или проверку по внешнему ID.
Что сохранять вне работающего процесса
- Постоянный идентификатор темы.
- Номер версии, одобренной для передачи.
- Состояние отправки и идентификатор записи в CMS.
Прогон на тестовой CMS
Отправьте одну версию дважды, затем отправьте следующую версию с тем же идентификатором темы. Проверьте отдельно количество созданных записей и текст в сохранившейся. Очередь должна учитывать идентичность публикации, даже если редактор изменил заголовок между двумя попытками.
Что хранить между запусками Python
Очередь в памяти помогает распределять работу во время выполнения программы, но сама не восстанавливает состояние после перезапуска. Для рабочего процесса отдельно сохраняйте идентификатор темы, подтверждённый номер версии и адрес записи во внешнем хранилище. Проверьте восстановление на тестовой теме до передачи в расписание.
Комментарий автора
Вопросы и ответы
Хватит ли queue.Queue?
Для эксперимента в одном работающем процессе — да. При перезапуске потребуется отдельное хранение задач и прогресса.
Какие идентификаторы хранить отдельно?
Сохраните ID темы, номер версии и идентификатор записи в CMS. Заголовок может меняться и плохо подходит для поиска дубля.
Что проверять до отправки черновика?
Убедитесь, что версия принята и относится к ожидаемой теме. Сверьте, существует ли соответствующая запись на стороне CMS.
Как испытать обновление существующего материала?
Отправьте новую принятую версию с прежним ID темы. Проверьте и число записей, и текст в сохранившейся записи.
Что необходимо восстановить после остановки программы?
Состояние задания и связь с созданной публикацией. Для этого храните их вне памяти работающего процесса.