О работе над разделом «Ревизии и переписи Вятского края». Технические вопросы

Инициатор проекта Александр Гагаринов недавно подвёл (https://rodnaya-vyatka.ru/blog/2260/118795) промежуточные итоги работы над созданием списков населённых мест по ревизским сказкам 1-3 ревизий. Работа идёт очень хорошо, большое спасибо всем, кто участвует! И в первую очередь, конечно, спасибо самому Александру, который не только организовал эту работу, но и сам обрабатывает львиную долю материала.

В начале этого года я делал небольшой отчёт о запуске раздела «Ревизии и переписи Вятского края» (https://rodnaya-vyatka.ru/blog/147/113651). Тогда была готова первоначальная версия программного модуля, реализующего функционал для работы с описями дел по ревизиям. За прошедшее с того момента время мы набили шишек и определили, что требуется улучшить и доработать для более удобной работы как модераторам раздела (для управления материалами), так и для пользователей портала.

В этой заметке я решил описать список основных доработок, выполненных на данный момент.

1. Была оптимизирована организация базы данных раздела: созданы дополнительные служебные таблицы для улучшения внутренней связности данных и хранения суммарных показателей. В результате упростились запросы к БД и стали быстрее открываться страницы раздела.

2. В оглавления дел введены заголовки второго уровня для дробления разделов дел на подразделы. Необходимость этого вызвана следующими соображениями. Дела, как правило, разделены на логические части, которые начинаются названием административно-территориальной единицы, а заканчиваются итогами. При этом внутри раздела часто перечисляются названия нескольких единиц (например, волостей). С точки зрения логики нашего проекта мы должны такие разделы дробить на подразделы, чтобы каждую часть связать с соответствующей административной единицей на дереве АТД. Для этого и потребовались заголовки второго уровня.

3. Разработан механизм для добавления и корректировки данных на сайте (доступен только модераторам раздела). Перед добавлением описи каждого дела в базу данных мы приводим её к требуемому формату. Исправление ошибок, допущенных на данном этапе, ранее было достаточно сложной задачей, доступной лишь администраторам. Модераторы могли исправлять только опечатки в тексте, но не могли восстанавливать пропущенные записи или корректировать структуру документа (добавлять или убирать заголовки). Сейчас после загрузки дела на сайт можно выполнить практически любые требуемые корректировки в интерфейсе сайта.

4. Был реализован функционал для добавления дел и загрузки на сайт описей по ним из файлов формата Excel (с проверкой корректности загружаемого файла). Ранее Александр Гагаринов присылал мне проверенные файлы, которые я обрабатывал, добавляя служебную информацию, и загружал в базу данных. Затем Александр «прокачался» и стал добавлять служебную информацию сам, мне оставалось только загружать данные в БД. Теперь я из этого процесса исключён – куратор проекта загружает файлы в базу самостоятельно ☺.

5. По итогам первого года работы мы поняли, что формировать структуру АТД для каждого дела неудобно. Поэтому сейчас подход изменен – структура АТД создаётся для каждой ревизии/переписи в целом, а заголовки разделов дел привязываются к общему АТД. При этом при просмотре каждого дела осталась вкладка со структурой его АТД, но формируется она как выборка из сводной структуры. Напомню, структура АТД – это древовидная схема, показывающая взаимосвязь единиц административно-территориального деления (уездов, станов, волостей и т.п.). В ревизских сказках она содержится в неявном виде, мы пытаемся реконструировать по материалам архивных дел их структуру в виде дерева и привязываем к узлам этого дерева заголовки разделов дел.

6. Новый функционал – работа с полным текстом дел. Если раньше была возможность добавлять только описи дел (оглавления, списки населенных мест и документов), то теперь к оглавлению можно привязывать тексты документов. Тексты хранятся в виде строк, строки бывают нескольких типов (двор, люди, персона, произвольный текст).  Отображение текстов реализовано в виде блоков, появляющихся по запросу пользователя. Также добавлена возможность поиска населённых мест не только по названиям, но и по полному тексту и по фамилиям (для этого предусмотрено хранение фамилий в отдельном поле).

Все новые возможности использованы при публикации переписи 1710 года.

Работа как над наполнением, так и над совершенствованием функционала раздела продолжается. Вопросы, замечания и предложения принимаются. Приглашаем всех заинтересованных к сотрудничеству!