Сбой в письмах рассылки

Сбой произошел вчера и затронул только тех, кто читает письма из вкладки "Протокол рассылки" Кабинета подписчика. Из-за переполнения буферов кэша дисковой подсистемы веб-сервер давал сбои при выводе писем рассылки с большим числом тендеров с полными текстами тендеров в теле письма. В итоге письма выводились частично и внутренние ссылки на тендеры не работали.
Это уникальная ситуация. Приняты меры, чтобы она не повторилась. Тем не менее важно понимать, что в живой, интенсивно работающей системе неизбежны дефекты и ошибки, которые надо своевременно диагностировать и исправлять. Не все причины дефектов могут быть устранены, как это показано в предыдущем посте. Нашим подписчикам рекомендуется периодически проводить контроль качества, устраивать стресс-тесты, обращать внимание на все странное и непонятное. Дополнительным преимуществом такого подхода является достоверная оценка качества нашей подписки. В случае каких-либо проблем или вопросов рекомендуется немедленно связаться с нами через стр. Контакты или через мобильный телефон службы поддержки.

Ошибки на портале госзакупок

Наша работа по конструированию и эксплуатации фильтров должна происходить в постоянном контакте с заказчиком. Цель этого контакта двоякая: ошибки фильтров надо устранять, а качество фильтра надо оценивать. Без оценки качества невозможно улучшение. Одновременно появляется возможность находить новые явные или скрытые ошибки. Подробнее об оценке качества написано ниже, а сейчас кратко опишем две весьма экзотические причины для ошибок, которые могли быть выявлены только при тщательном тестировании.
Во-первых, причиной для пропуска тендеров являются массовые ошибки на портале госзакупок. Дело в том, что мы, к сожалению,  не можем придумывать тендеры сами, а можем получать их только в результате автоматического сканирования официальных порталов. Если движок официального портала работает с ошибкой или база тендеров на официальном портале испорчена и содержит дефективные тендеры, то наши программы автоматического сканирования дадут сбой и будут теряться не только дефективные тендеры, но и соседние с ними. Эта ошибка подробно описана ниже.
Во-вторых, причиной ошибок в работе фильтра могут быть ошибки системного софта, а именно СУБД. Дело в том, что для фильтрации тендеров фильтры используют очень сложные и громоздкие автоматически сконструированные, т.е. неестественные запросы, которые превышают возможности конкретных версий СУБД, в результате чего они ломаются. Речь идет о тонких недокументированных нюансах выполнения сложных поисковых запросов и для того чтобы понять причину ошибку надо изучать исходный код базы данных. Однако ошибка работы СУБД является фактом, потому что, например, MySQL и MariaDB дают разные результаты, а версия первой СУБД молча ломается на типичных запросах одного фильтра. Это стало неприятной неожиданностью, которая только подчеркнула важность самого тщательного тестирования.

Поставщики Санкт-Петербурга

Приведем начальный анализ рынка поставщиков в СПб на основе базы контрактов. Прежде всего, речь идет только о местоположении поставщика, а не о регионе тендера. Более конкретно, выделяются те поставщики, ИНН которых начинается с цифр 78. Далее, любые цифры могут рассматриваться только ориентировочно по ряду причин. Прежде всего, новые контракты публикуются каждый день и данные быстро устаревают. В любом случае тенденции переданы верно.

Донат выше показывает распределение числа поставщиков по разным регионам. В Спб поставщиков примерно в два раза меньше чем в Москве, а с учетом МО меньше в 2,5 раза. Учет Ленинградской области существенно не влияет на этот результат. 

Разработка фильтров

Разработка индивидуального тендерного фильтра дает новые интересные возможности. Вот некоторые из них:

• более точная и полная настройка для тендеров ручной классификации;
• автоматическая фильтрация котировок и тендеров 223-ФЗ;
• автоматические отчеты для всех тендеров 2013-2015 гг.;
• база/отчеты контрактов фильтра;
• база/отчеты заказчиков фильтра;
• база/отчеты поставщиков (конкурентов) фильтра;
• рассылка дневных отчетов;
• просмотр и фильтрация отчетов по новым тендерам;
• возможность фильтрации по регионам и суммам;
• коллекции фильтров или метафильтры;
• расширенные возможности тестирования и отладки.

Фильтры и графики

Главной нашей задачей является разработка индивидуальных тендерных фильтров, которые выделяют нужные целевые тендеры, отфильтровывая все ненужное. Необходимыми, но второстепенными задачами являются поддержка базы тендеров (получаемых с ООС) и ежедневная рассылка результатов фильтрации. Базой для создания фильтров являются несколько миллионов тендеров, прошедших через нашу систему ручной классификации на основе нашего классификатора, специально созданного для системы госзакупок. Весьма привлекательными являются методы автоматической классификации (их применение неизбежно для принятой схемы работы для классификации котировок и тендеров 223-ФЗ), но их результаты нуждаются в тщательной перекрестной проверке.

Как только фильтр разработан, на его основе можно получить отчеты, содержащие целевые тендеры, котировки, тендеры 223-ФЗ за предшествующие периоды. По целевым тендерам можно отобрать их контракты и на их основе собрать сведения о всех заказчиках и поставщиках (победителях или участниках закупок).

Полученные данные полезно отобразить на графиках, примеры которых приводятся ниже. Следует специально подчеркнуть, что эти сводные статистические данные касаются не всех закупок вообще, а исключительно данного конкретного фильтра.

Представляет большой интерес разработка более детальных графиков или даже элементов системы поддержки принятия решений в этой области. Прежде всего это максимально подробная информация о заказчике данного тендера, сведения о поведении и приоритетах ближайших конкурентов, целесообразности участия в тендере и, если это аукцион, то об оптимальной ценовой стратегии.

Время публикации тендеров

Ниже приводятся несколько полезных графиков времени публикации тендеров.