Проблемы потери исходных данных, необходимости хранения максимальной скважности измерений и обеспечения скоростного доступа успешно решены в системе SAYMON уже сегодня.

Мы живем в поразительное время. Компьютеры становятся всё миниатюрнее, и одновременно средства коммуникаций и системы хранения информации становятся всё более надежными, быстрыми и производительными. Наступает эпоха цифровых возможностей, которые открывают как горизонты новых услуг для всех рынков, так и новые возможности оптимизации управления существующими услугами и отраслями. Сегодня становится востребованным управление большими потоками данных, средства анализа и визуализации, реализующие потенциал современности.

Одним из основных средств анализа данных является визуализация — возможность анализа тенденций развития актуальной ситуации для принятия оперативных решений. Основой для визуализации являются оперативные данные, исторические данные и данные о настоящем, прошлом и будущем, полученные путем математической обработки.

Еще совсем недавно был популярен подход хранения исходных («сырых») данных за небольшой период времени и изготовление статистических агрегатов за прошлые периоды, позволяющий минимизировать требования к системам хранения данных (объему и скорости работы) и вычислительным ресурсам аппаратных комплексов, обслуживающих информационные системы статистической отчётности. Проблема возникает тогда, когда вы хотите получить от ваших данных больше, чем может быть получено из агрегированных показателей — больше в историческом срезе точных значений за длительный промежуток времени назад; больше в вопросе математического моделирования, анализе тенденций развития ситуации в прошлом, настоящем и будущем; больше в вопросе анализа взаимного влияния большого количества показателей.

Как развитие идеи обоснованности проблемы потери исходных данных — возможности построения алгоритмов машинного обучения с возможностью построения выводов на базе накопленных данных, возможности автоматизированного принятия решений. Без точных данных машинное обучение невозможно или будет давать неверные результаты.

Проблема номер два — скорость записи данных и скорость доступа к данным. Требования современности к пользовательским интерфейсам — считанные секунды реакции информационной системы на действия пользователя до получения результата. Адекватное использование математического аппарата для работы с историческими данными и математического моделирования также тесно связано со скоростью доступа к данным.

Проблема потери исходных данных, необходимости хранения максимальной скважности измерений, обеспечения скоростного доступа успешно решена в системе SAYMON уже сегодня. Для измеряемых показателей в SAYMON существует возможность регулировать частоту измерений каждой из величин (миллисекунды, секунды, минуты, часы), можно регулировать частоту сохранения показателей в историческое хранилище и глубину хранения показателей (дни, недели, месяцы, годы). Доступ к данным с необходимой математической обработкой в момент запроса, равно как и запись, занимает миллисекунды при хранении миллионов исторических значений измерений. Гибкость настройки, а также заложенный в основу хранения механизм работы с данными позволяют строить масштабируемые решения с возможностями распределенного хранения.

Чуть более подробно раскроем вопрос визуализации больших объемов информации и средства, доступные пользователям SAYMON уже сейчас и в перспективе.

Прежде всего стоит упомянуть три ограничения: первое — разрешение экрана и его максимальная ширина, второе — производительность WEB-браузера, и третье — скорость передачи больших объемов информации. Данные ограничения заставляют реализовывать математическую адаптацию данных в момент запроса и ограничивать количество отображаемых данных — нет смысла передавать в браузер и отображать 10 000 точек, достаточно автоматически подготовить корректные агрегаты данных, обеспечить скорость загрузки и отображения, скорость реакции интерфейсов системы на действия пользователей.

На данный моменты в WEB-интерфейсе SAYMON доступны возможности выбора интересующего временного диапазона с использованием ползунка или выделением интересующего диапазона прямо на графике; возможности изменения масштаба, отображение на фоне состояния объекта (в работе, перегрузка, авария); обновление данных на графике по мере их поступления от метода измерения; возможности отображения данных в виде таблицы под графиком и возможности скачать отображаемые данные в формате текстового файла с разделителем, пригодного для последующей обработки на персональном компьютере в программах MS Excel или Apple Numbers (Comma Separated Value files — CSV).

На изображении приведен пример визуализации истории загрузки процессора одной из систем, в котором автоматически применен метод усреднения отображаемого показателя в!соответсвии с выбранным масштабом.

Одновременно в SAYMON доступны технические интерфейсы для работы с оригинальными данными (raw data access) средствами Restful API и инженерного пользовательского WEB-интерфейса (WEB UI) с богатым математическим аппаратом.

На изображении выше отражен график доступный через инженерный интерфейс — минимальные (зеленый), максимальные (красный) и усредненные значения за период примера. При этом опытному пользователю, специалисту, доступны варианты выбора функций усреднения, отклонения, количества с указанием периодов семплификации.

На изображении выше отображены все значения показателей за период примера.

Наличие Restful API позволяет включать данные, накапливаемые системой SAYMON, в пользовательские интерфейсы и информационные системы, реализуемые партнерами и подразделениями разработки на стороне заказчика.

Инженерный интерфейс, лучше сказать пользовательский интерфейс специалиста по математическому анализу данных, предоставляет партнерам и заказчикам, использующим платформу SAYMON, практически неограниченные возможности по обработке и интерпретации технических и бизнес-данных. Возможен точный и выборочный анализ.

В скором будущем мы планируем расширение пользовательского интерфейса наличием возможностей выбора формата семплирования c использованием различных алгоритмов математической обработки, расширение вариантов отображения данных и поддержку виджетов для формирования сводных табло, отвечающих любым потребностям партнеров и клиентов.

Важной задачей развития мы видим создание консоли для возможности задания сценариев обработки данных на языке R. С использованием языка R наши партнеры и клиенты получат еще больше возможностей для использования платформы SAYMON для реализации прикладных математических задач в самых широких областях автоматизации человеческой деятельности.