Сбой в письмах рассылки

Сбой произошел вчера и затронул только тех, кто читает письма из вкладки "Протокол рассылки" Кабинета подписчика. Из-за переполнения буферов кэша дисковой подсистемы веб-сервер давал сбои при выводе писем рассылки с большим числом тендеров с полными текстами тендеров в теле письма. В итоге письма выводились частично и внутренние ссылки на тендеры не работали.
Это уникальная ситуация. Приняты меры, чтобы она не повторилась. Тем не менее важно понимать, что в живой, интенсивно работающей системе неизбежны дефекты и ошибки, которые надо своевременно диагностировать и исправлять. Не все причины дефектов могут быть устранены, как это показано в предыдущем посте. Нашим подписчикам рекомендуется периодически проводить контроль качества, устраивать стресс-тесты, обращать внимание на все странное и непонятное. Дополнительным преимуществом такого подхода является достоверная оценка качества нашей подписки. В случае каких-либо проблем или вопросов рекомендуется немедленно связаться с нами через стр. Контакты или через мобильный телефон службы поддержки.

Ошибки на портале госзакупок

Наша работа по конструированию и эксплуатации фильтров должна происходить в постоянном контакте с заказчиком. Цель этого контакта двоякая: ошибки фильтров надо устранять, а качество фильтра надо оценивать. Без оценки качества невозможно улучшение. Одновременно появляется возможность находить новые явные или скрытые ошибки. Подробнее об оценке качества написано ниже, а сейчас кратко опишем две весьма экзотические причины для ошибок, которые могли быть выявлены только при тщательном тестировании.
Во-первых, причиной для пропуска тендеров являются массовые ошибки на портале госзакупок. Дело в том, что мы, к сожалению,  не можем придумывать тендеры сами, а можем получать их только в результате автоматического сканирования официальных порталов. Если движок официального портала работает с ошибкой или база тендеров на официальном портале испорчена и содержит дефективные тендеры, то наши программы автоматического сканирования дадут сбой и будут теряться не только дефективные тендеры, но и соседние с ними. Эта ошибка подробно описана ниже.
Во-вторых, причиной ошибок в работе фильтра могут быть ошибки системного софта, а именно СУБД. Дело в том, что для фильтрации тендеров фильтры используют очень сложные и громоздкие автоматически сконструированные, т.е. неестественные запросы, которые превышают возможности конкретных версий СУБД, в результате чего они ломаются. Речь идет о тонких недокументированных нюансах выполнения сложных поисковых запросов и для того чтобы понять причину ошибку надо изучать исходный код базы данных. Однако ошибка работы СУБД является фактом, потому что, например, MySQL и MariaDB дают разные результаты, а версия первой СУБД молча ломается на типичных запросах одного фильтра. Это стало неприятной неожиданностью, которая только подчеркнула важность самого тщательного тестирования.

Поставщики Санкт-Петербурга

Приведем начальный анализ рынка поставщиков в СПб на основе базы контрактов. Прежде всего, речь идет только о местоположении поставщика, а не о регионе тендера. Более конкретно, выделяются те поставщики, ИНН которых начинается с цифр 78. Далее, любые цифры могут рассматриваться только ориентировочно по ряду причин. Прежде всего, новые контракты публикуются каждый день и данные быстро устаревают. В любом случае тенденции переданы верно.

Донат выше показывает распределение числа поставщиков по разным регионам. В Спб поставщиков примерно в два раза меньше чем в Москве, а с учетом МО меньше в 2,5 раза. Учет Ленинградской области существенно не влияет на этот результат. 

Разработка фильтров

Разработка индивидуального тендерного фильтра дает новые интересные возможности. Вот некоторые из них:

• более точная и полная настройка для тендеров ручной классификации;
• автоматическая фильтрация котировок и тендеров 223-ФЗ;
• автоматические отчеты для всех тендеров 2013-2015 гг.;
• база/отчеты контрактов фильтра;
• база/отчеты заказчиков фильтра;
• база/отчеты поставщиков (конкурентов) фильтра;
• рассылка дневных отчетов;
• просмотр и фильтрация отчетов по новым тендерам;
• возможность фильтрации по регионам и суммам;
• коллекции фильтров или метафильтры;
• расширенные возможности тестирования и отладки.

Фильтры и графики

Главной нашей задачей является разработка индивидуальных тендерных фильтров, которые выделяют нужные целевые тендеры, отфильтровывая все ненужное. Необходимыми, но второстепенными задачами являются поддержка базы тендеров (получаемых с ООС) и ежедневная рассылка результатов фильтрации. Базой для создания фильтров являются несколько миллионов тендеров, прошедших через нашу систему ручной классификации на основе нашего классификатора, специально созданного для системы госзакупок. Весьма привлекательными являются методы автоматической классификации (их применение неизбежно для принятой схемы работы для классификации котировок и тендеров 223-ФЗ), но их результаты нуждаются в тщательной перекрестной проверке.

Как только фильтр разработан, на его основе можно получить отчеты, содержащие целевые тендеры, котировки, тендеры 223-ФЗ за предшествующие периоды. По целевым тендерам можно отобрать их контракты и на их основе собрать сведения о всех заказчиках и поставщиках (победителях или участниках закупок).

Полученные данные полезно отобразить на графиках, примеры которых приводятся ниже. Следует специально подчеркнуть, что эти сводные статистические данные касаются не всех закупок вообще, а исключительно данного конкретного фильтра.

Представляет большой интерес разработка более детальных графиков или даже элементов системы поддержки принятия решений в этой области. Прежде всего это максимально подробная информация о заказчике данного тендера, сведения о поведении и приоритетах ближайших конкурентов, целесообразности участия в тендере и, если это аукцион, то об оптимальной ценовой стратегии.

Время публикации тендеров

Ниже приводятся несколько полезных графиков времени публикации тендеров.

История просмотров тендеров

Просмотренные страницы тендеров браузер пользователя выделяет другим цветом (например, серым). Это довольно удобно, т.к. сразу видно какие тендеры уже изучены и нет необходимости просматривать их повторно. Тем не менее иногда возникают сомнения, почему та страница выделена, а другая нет. Это может быть связано со сбоем браузера и в любом таком сомнительном случае надо разобраться, потому что это прямо влияет на результаты работы. Прежде всего надо точно установить были ли просмотры данной страницы или нет. Это можно сделать изучая историю браузера (Ctrl-H в Chrome). После этого надо ввести часть адреса страницы (например, "gostorgi.ru/44-") в поле поиска и нажать кнопку "Искать в истории".
 Есть еще один относительно несложный способ просмотреть целиком всю историю запросов (а заодно в качестве бонуса список всех загрузок и поисковых запросов).

Акты сверки

Мы рекомендуем такой алгоритм подписания актов сверки:

1. Акт сверки готовится бухгалтером и пересылается в виде файла (jpg, pdf) на наш адрес E-mail.
2. Подготовленный документ заверен необходимыми подписями и печатями и содержит все необходимые параметры: даты, суммы, оформление и т.д.
3. Получив этот документ, мы помещаем на него подпись и печать с нашей стороны.
4. Дополнительно мы подписываем этот документ нашей КЭП, что согласно п.6.1, 6.3 закона 63-ФЗ "Об электронной подписи" делает его "равнозначным документу на бумажном носителе, подписанном собственноручной подписью и заверенному печатью".
5. После этого мы отсылаем подписанный таким образом дважды документ в ответном письме как файл в формате pdf.

Ошибки классификации ООС

Искать тендеры можно либо по ключевым словам (словосочетаниям), либо
по классам, либо по их комбинации. Исключим сейчас из рассмотрения более продвинутые методы. Поиск по ключевым словам при всей его простоте часто дает не очень хорошие результаты: заранее трудно предсказать как может быть сформулирован предмет закупки. Гораздо удобнее искать тендеры по классам, которые выделяют все тендеры нужной тематики.
К сожалению, классификация на ООС часто неточная или иногда ошибочная.
В таблице приводится несколько таких примеров ошибочной классификации.

Ошибки классификации по ОКПД

С 01.01.2014 введен в действие классификатор ОКПД, вместо действующего ранее ОКДП. Количество неверных классов, проставляемых заказчиками по новому классификатору, существенно увеличилось. Проблема в том, что поиск нужного класса для данного тендера это не всегда тривиальная задача, которая требует опыта, хорошего знания хаотической структуры групп и подгрупп и т.д. Иногда заказчики ставят первый попавшийся класс, имеющий хоть какое-то отдаленное отношение к предмету тендера. Это может привести к грубым ошибкам, когда тендер невозможно найти по проставленным классам.
Наш просмотр тендеров в ручном режиме и переклассификация их  по своему классификатору позволяют устранить эти ошибки и предложить единообразную  и удобную систему классификацию. Класс тендера – это один из важнейших параметров для поиска нужных тендера и формирования фильтров для рассылки.
Ниже мы приводим таблицу с примерами ошибок классификации за произвольно выбранные два дня.