Все новости от 24 мая 2005 г.

ФОРС делится опытом создания хранилищ данных

Компания “ФОРС — Центр разработки”, недавно завершившая очередной этап создания единого хранилища данных для некоммерческого партнерства “Администратор торговой системы оптового рынка электроэнергии Единой энергетической системы” (НП “АТС”), на организованном ею совместно с корпорацией Oracle мастер-классе поделилась своим опытом в этой области.

Обеспечивая функционирование оптового рынка электроэнергии, НП “АТС” испытывало необходимость не только в доступности оперативной информации для проведения торгов, но и в инструменте, позволяющем эти данные накапливать, хранить и анализировать. Проект единого хранилища данных, решающего все эти задачи, был реализован специалистами ФОРС, уже достаточно давно сотрудничающего с НП “АТС”.

Уже существовавшая информационная система (ИС) НП “АТС” представляла собой набор оперативных систем, обеспечивающих функционирование ключевых бизнес-процессов.

Важнейшими задачами при создании единого хранилища данных были консолидация информации из оперативных систем, формирование единых справочников и поддержка хранения истории изменения данных, что в итоге позволяло интегрировать оперативные системы в единый комплекс.

Проект выполнялся в несколько этапов. На первом (декабрь 2003-го — апрель 2004 г.) была разработана общая структура хранилища и механизм загрузки в него данных из существующих оперативных систем.

На этом этапе к хранилищу была подключена важнейшая оперативная система — торговая, обеспечивающая расчет стоимости электроэнергии для конкурентного сектора рынка европейской ценовой зоны России.

Эта система позволяет получать результаты торгов в виде ежедневно обновляемого набора файлов; именно эти файлы и составляли основную проблему, побудившую заказчика к созданию централизованного хранилища данных: их анализ по итогам торгов производился вручную и представлял собой весьма трудоемкую операцию.

На последующих этапах, длившихся по два-три месяца каждый, хранилище расширялось с целью подключения дополнительных оперативных систем. Кроме того, в процессе эксплуатации обновленной ИС, начатой в апреле прошлого года, сразу по окончании первого этапа, проводились необходимые доработки.

Последним этапом стало развертывание второго хранилища данных, предназначенного для сибирской ценовой зоны. Задачи, решаемые ИС европейской и сибирской зон, принципиально не отличаются, однако создание общего хранилища на данном этапе было сочтено нецелесообразным в силу различия нормативной и законодательной базы, регламентирующей рынки электроэнергии в данных ценовых зонах.

Хранилище построено на платформе СУБД Oracle 9i, в качестве CASE-среды для разработки и развертывания хранилища использовался инструмент Oracle Warehouse Builder 9i, система аналитической отчетности реализована средствами Oracle Discoverer 9i. В качестве аппаратной платформы использованы дисковые массивы и серверы корпорации IBM, работающие под управлением ОС Red Hat Linux.

Масштабируемость построенной системы позволяет подключать к хранилищу новые источники данных, что особенно актуально для заказчика, ориентированного на динамичное расширение своей деятельности и охват новых регионов.

В перспективе планируется использование многомерных витрин данных на базе Oracle OLAP Option и Oracle Business Intelligence, а также применение Oracle Data Mining для выявления в данных, содержащихся в хранилище, скрытых закономерностей, зависимостей и взаимосвязей, полезных при принятии решений на различных уровнях управления.

Все задачи, поставленные перед коллективом разработчиков, были успешно решены, тем не менее потенциал совершенствования ИС на этом не исчерпан, и ее развитие будет продолжаться.

И. С.