Интеграционные решения Oracle: обзор важнейших направлений

Рис. 1. Возможные уровни интеграции информации

Интеграция данных

Интеграционныерешения, выпускаемые Oracle, компания относит к семейству Middleware – технологий связующего слоя. И это не лишено смысла: ведь интеграция – не бизнес и не технологические решения, однако она в то же время не может существовать отдельно от них. Кроме того, все продукты Oracle открытые. Провести чёткую границу и отделить интеграционные решения от других в семействе Middleware достаточно сложно. В этом, собственно, и нет необходимости, потому что все они взаимосвязаны друг с другом и либо являются потребителями результатов интеграции, либо делают её возможной. Однако здесь существует обособленная группа – Oracle Data Integration. Как можно понять из названия, сюда входят решения, которые занимаются интеграцией данных. Среди них:

• Oracle Data Integrator (ODI);
• Oracle Golden Gate (OGG);
• Oracle Data Quality (ODQ).

Oracle Data Integrator

Это продукт, относящийся к классу ETL, без которого невозможно представить работу любого современного хранилища данных. В основу ODI, в том числе, легли разработки компании Sunopsis, приобретенной Oracle в 2006 году, и собственные решения корпорации для организации работы хранилищ.

В чём же особенности этого продукта? Прежде всего в подходе к реализации ETL-процессов: правильнее было бы называть их ELT (Extract, Load, Transform). Их отличие состоит в том, что данные, пройдя процесс выгрузки, сразу загружаются в конечную БД, где и происходит трансформация. При этом она выполняется средствами СУБД. Такой подход даёт сразу несколько преимуществ. Во-первых, очевидно, что в таком случае исчезает необходимость в отдельно стоящем сервере для обработки данных, это удешевляет решение и делает его проще и надёжнее. Во-вторых, СУБД действительно очень быстро выполняют работу по обработке данных, это дает возможность не изобретать велосипед, а положиться на уже отлаженные механизмы. В-третьих, такой подход позволяет Oracle Data Integrator более полно взаимодействовать с хранилищем, во многих случаях данные могут в процессе обработки сразу попадать в конечные факты и измерения и даже в сложные структуры типа MOLAP-кубов.

Поскольку ODI – это инструмент, входящий в экосистему Oracle, весь его потенциал наиболее полно раскрывается при работе с соответствующими продуктами этой компании. Естественно, это не означает, что ODI обладает недостаточной функциональностью, скорее, можно говорить о выгодах при работе с «родной» базой данных. Поэтому если вы строите хранилище на базе Oracle Database, в первую очередь стоит присмотреться к Oracle Data Integrator.

Oracle Golden Gate

Объёмы данных в любой современной компании постоянно растут, так же как и потребность в их обработке. Но каким образом можно ежедневно выгружать из промышленной системы, содержащей десятки терабайт данных, всю информацию, нужную для построения хранилища? Ведь подобные выгрузки создают дополнительную нагрузку, которая для промышленной среды может быть просто не приемлема. Очевидным вариантом является получение инкрементальной выгрузки, в этом случае объем изменений на порядок меньше общего объема и может быть обработан за разумное время. Однако для подготовки такой выгрузки с использованием обычных ETL-средств исходное приложение должно обладать соответствующими техническими возможностями. Кроме того, даже тогда будет создаваться дополнительная нагрузка на БД. Именно в таких случаях может использоваться другой инструмент интеграции данных – Oracle Golden Gate.

В основе решения лежит идея о том, что любая современная БД сама отслеживает изменения, которые были в ней произведены. Все они записываются в специальные журнальные файлы и могут быть использованы базой данных для восстановления. Но в таком случае почему бы не использовать эти журналы для переноса изменений на другую БД – реплику. Ключевой особенностью Oracle Golden Gate, отличающей продукт от standby-решений и позволяющей отнести его к интеграционным, является то, что журнальные файлы не переносятся на базу-приемник без изменений, а проводится их разбор. Это открывает широчайшие возможности: мы можем выбирать только те таблицы и данные, которые требуют репликации, данные становятся платформо-независимыми, т.е. исходная и конечная БД могут работать на различном оборудовании, ОС, быть базами данных от различных поставщиков, приемник и источник даже могут быть различными технологиями. Например, приемником данных может служить JMS-шина, тогда как данные были получены из БД, или наоборот. Одним из плюсов OGG также является то, что нагрузка по обработке журнальных файлов может быть полностью снята с промышленного оборудования. Это позволяет разгрузить промышленную БД, а также открывает возможность для организации практически real-time обновления хранилища без каких-либо дополнительных затрат и разработки.

Golden Gate отлично подходит для создания ODS (Operational Data Storage) – так называемых оперативных хранилищ данных. По сути это реплики промышленных систем, содержащие минимум изменений. Они могут использоваться для построения сложной отчётности или как исходные системы для ETL. При этом Golden Gate имеет широкие возможности интеграции c Oracle Data Integrator, расширяя функциональность последнего. Помимо использования Golden Gate в интеграционных проектах, продукт позволяет реализовывать Disaster Recovery архитектуры, причем в сравнении с классическим standby использовать резервную БД становится гораздо проще. Отдельной темой для рассмотрения является использование OGG в проектах миграции, где возможна реализация безостановочного кроссплатформенного перехода с одной версии БД на другую или даже замена БД одного вендора на базу другого с нулевым или минимальным временем простоя.

Oracle Data Quality

Еще одним продуктом из группы Data Integration является Oracle Data Quality. С одной стороны, сам по себе ODQ не занимается интеграцией и является, скорее, потребителем данных, которые уже были интегрированы ETL-средствами. С другой, определённая логика в таком позиционировании есть. Ведь в момент трансформации и загрузки данных нас не интересует их качество, и проконтролировать возможное наличие ошибок на стадии ETL крайне затруднительно. При этом конечной системе типа хранилища, безусловно, требуются качественные данные. Всё это приводит нас к тому, что ODQ является неотъемлемой частью процесса интеграции данных.

На самом деле под Data Quality у Oracle скрывается целое семейство продуктов, которые решают различные задачи:

• Oracle Enterprise Data Quality Profile and Audit;
• Oracle Enterprise Data Quality Parsing and Standardization;
• Oracle Enterprise Data Quality Match and Merge;
• Oracle Enterprise Data Quality Product Data Parsing and Standardization;
• Oracle Enterprise Data Quality Product Data Match and Merge.

Первым в списке идёт продукт, позволяющий понять, какими же, собственно, данными обладает компания, и ответить на вопрос, являются ли они качественными. На этапе профилирования мы можем выявить взаимосвязи, получить бизнес-правила напрямую из данных. Кроме того, на этом этапе сразу становятся видны слабые и критичные места текущих бизнес-процессов. На основании профилирования в дальнейшем могут быть сформированы правила работы разбора и стандартизации данных. Также этот продукт позволяет создавать наглядные витрины для мониторинга проблем, возникающих в данных исходных систем. Например, если в одном из филиалов нашей компании не было проведено обучение сотрудников, и в системе стали появляться контакты клиентов без паспортных данных или с неверно указанным телефоном, мы сразу увидим это на соответствующей витрине.

Вторым продуктом семейства является DQ Parsing and Standardization. Его основная задача – это подготовка данных к анализу, приведение их к единому стандарту. Не секрет, что одни и те же адресные данные могут храниться в исходной системе совершенно по-разному: это может быть строка, несколько отдельных полей, запись по КЛАДР и т.п. Поэтому приведение одинаковых по сути данных к одному виду для их дальнейшего использования крайне важно. Этот продукт позволяет в простой графической форме настроить правила обработки и стандартизации. Кроме этого, встроенные мастера позволяют обнаруживать скрытые зависимости и строить правила автоматически, исходя из существующих данных. Также на основании бизнес-правил могут быть настроены фильтры, которые будут отсекать нестандартную информацию и сигнализировать о её наличии через наглядные витрины, публикуемые через web.

Третьим продуктом, входящим в Oracle Data Quality, является DQ Match and Merge. Он может быть использован для сравнения и связи данных, дедупликации и решения других MDM-задач. Гибкий и легкодоступный интерфейс позволяет не только составлять правила, но и проводить ревизию принятых решений, внося исправления в случае ошибок. Как и оба предыдущих продукта, Match and Merge может предоставлять информацию об обработанных данных в виде наглядных витрин. Это позволяет отслеживать качество бизнес-процессов, например, появление дубликатов может говорить о двойном вводе или о проблемах с поиском и повторным использованием ранее введённых данных.

Последние два решения схожи по функционалу с DQ Parsing and Standardization и DQ Match and Merge, но имеют другой домен. Что это означает? Очевидно, что алгоритмы, которые мы применяем для стандартизации и сравнения контактных данных о клиентах или поставщиках, не очень хорошо подходят, когда мы начинаем говорить о продуктах. Кроме этого, мы не можем применять одни и те же правила для разных продуктов. Например, если мы – компания, торгующая радиоэлектронными деталями, то цифра после названия продукта будет означать различные характеристики: для электрического сопротивления это Ом, для емкости конденсатора – Фарад. Если не учитывать этих особенностей, дальнейшая обработка данных будет бессмысленной. Так как набор алгоритмов для данного домена может быть совершенно другим, Oracle отделил эти 2 продукта от тех, которые обрабатывают клиентские данные.

Интеграция процессов и приложений

В этой большой категории скрывается великое множество различных задач и продуктов, концепций и средств Oracle. Service Bus, Business Rules, BPEL Process Manager, Business Activity Monitoring, Process Accelerators, Event Processing, Human Task, Process Composer, Policy Automation… Этот список можно продолжать очень долго. Чтобы потенциальным пользователям было проще разобраться в этом многообразии, Oracle сгруппировала продукты по тем задачам, которые обычно стоят перед компаниями, решившими осуществить интеграцию своих ИС.

Начать, пожалуй, стоит с самого верхнего уровня, а именно интеграции бизнес-процессов. Здесь Oracle предлагает решения, объединенные в пакет под названием Oracle Business Process Management Suite. Что же туда входит? Прежде всего это средства работы с самими бизнес-процессами (для их моделирования, разработки, внедрения и исполнения), такие как Oracle BPM Studio и Oracle BPM Composer. BPM Studio позволяет в наглядной форме представить бизнес. BPM Composer дает возможность организовать совместную работу над проектированием и разработкой бизнес-процесса через web-интерфейс. Можно отметить, что средой разработки для BPM Studio является хорошо зарекомендовавший себя JDeveloper от Oracle. Готовые бизнес-процессы обрабатываются на серверах приложений с помощью Oracle BPM Engine, который, в свою очередь, состоит из трёх частей: непосредственно BPMN Engine, BPEL Engine и Process Core (последний используется для обслуживания общих функций).

Интеграционные решения, выпускаемые Oracle, компания относит к семейству Middleware – технологий связующего слоя. И это не лишено смысла: ведь интеграция – не бизнес и не технологические решения, однако она в то же время не может существовать отдельно от них. Кроме того, все продукты Oracle открытые. Провести чёткую границу и отделить интеграционные решения от других в семействе Middleware достаточно сложно

Другой немаловажной частью пакета решений Oracle BPM Suite является компонент Business Rules. Его основное предназначение – создание в простой и понятной форме бизнес-правил, которые потом могут быть использованы при описании процессов или мониторинге.

Третьей составляющей BPM Suite являются компоненты и продукты организации взаимодействия с пользователями. За разработку Human Tasks, управление ролями, приоритезацию, эскалацию, установку сроков, разработку форм взаимодействия отвечает компонент Oracle Human Workflow. Продукты BPM Process Workspaces и BPM Process Spaces фактически являются средой работы пользователя и предоставляют отображение интерфейсов. Первый из них обеспечивает отображение форм заданий, отслеживание процесса, стандартных и персонализированных витрин. Также существует возможность создавать формы, используя Oracle Application Development Framework (ADF). Это добавляет больше гибкости и возможности в отображении пользовательских форм, а использование ADF Mobile позволяет создавать формы для мобильных устройств.

Не последнюю роль играют такие средства коллективной работы, как BPM Projects и MDS Repository. Projects позволяет организовать хранение BPMN-процессов, моделей симуляции, текущих задач, организационных данных и т.п. MDS является репозиторием всех приложений, входящих в Oracle Fusion Middleware.

Итак, использование BPM Suite существенно упрощает задачу реализации бизнес-процессов. Однако часто случается, что реализовывать всё нужно «с нуля». Особенно сложно это становится на этапе запуска бизнеса, когда вопрос организации бизнес-процессов ещё не стоит в плоскости ИТ. Вдвойне досадно, когда в итоге оказывается, что плодом многих усилий и набитых шишек является очередной велосипед. Для подобных случаев компания Oracle выпустила продукт Oracle Process Accelerators, который является набором заранее подготовленных, легко модифицируемых и расширяемых бизнес-процессов, специфичных для отдельных индустрий. Причем они включают не только сами схемы выполнения, но и пользовательские формы, а также интерфейсы. Немаловажно, что в случае использования Process Accelerators мы не только в десятки раз ускоряем процесс разработки и внедрения бизнес-процессов, но и можем со стороны ИТ подсказать, как их оптимально строить.

Есть ещё несколько продуктов, которые представляют собой уже реализованные механизмы, облегчающие разработку взаимодействия приложений между собой. Одним из них является Oracle Fusion Middleware Adapters. Этот компонент платформы Oracle Fusion Middleware (FMW) предоставляет обширную библиотеку коннекторов к большинству существующих на рынке приложений и технологических систем, всего более 300. Так как Oracle Adapters реализован на платформе J2EE, все приложения, входящие в FMW, могут использовать любой из коннекторов, входящих в его состав, не требуя какой-либо доработки.

Важной группой продуктов, предоставляющих заранее сконфигурированные средства и модели интеграции существующих ИС, является семейство Oracle Application Integration Architecture (AIA). В составе AIA можно выделить 2 категории пакетов. Это AIA Foundation Pack, включающий отраслевые и кросс-индустриальные бизнес-объекты, а также набор смоделированных бизнес-процессов: например, процессы, охватывающие этапы от разработки концепции до запуска продукта (Concept to Launch), от получения заказа до выставления счета (Order to Cash), процессы синхронизации нормативно-справочной информации. Второй подгруппой является AIA Process Integration Pack, который содержит готовые интеграционные решения для бизнес-приложений, таких как Siebel CRM, Oracle E-Business Suite, Agile PLM, причём есть и интеграция с продуктами сторонних производителей, например, SAP.

Ещё один продукт, который крайне важен с точки зрения анализа эффективности построенных бизнес-процессов, – это Oracle Business Activity Monitoring (BAM). Он позволяет в наглядной форме отслеживать исполнение бизнес-процессов, выявлять узкие места, осуществлять прогнозирование, получать KPI. Для работы с BAM не требуются навыки разработчика, все нужные показатели могут быть собраны простым drag’n drop на одной витрине. Важно, что BAM позволяет работать не только с аналитическими витринами, но и real-time данными.

Рис. 2. Назначение продуктов, входящих в BPM Suite и используемых совместно с ним

Очевидно, что сами по себе бизнес-процессы существовать не могут, для их работы требуется определённая инфраструктура, и прежде всего сервисы, а если говорить точнее, сервис-ориентированная архитектура, или SOA. Пакет решений, выпускаемых Oracle для этой задачи, так и называется – SOA Suite. На самом деле он во многом является основой для BPM Suite, поскольку содержит важные технологические составляющие, без которых организация интеграции бизнес-процессов и приложений невозможна. Центральным связующим звеном всех решений, входящим в SOA Suite, является Oracle Service Bus. Основными задачами шины являются агрегация и публикация интерфейсов всех приложений компании, участвующих в бизнес-процессах. В состав Oracle Service Bus входит набор компонентов, необходимый для интеграции сервисов, управления ими, передачи сообщений, соблюдений политик безопасности.

В основе сервисной шины лежит слой передачи сообщений, который позволяет прозрачно передавать/принимать их по различным протоколам. Никаких явных преобразований форматов сообщений не требуется, они могут передаваться по любым поддерживаемым протоколам независимо от формата, в котором были получены, или наличия необходимости их отправки другим системам. Сервисная шина является технологическим исполнительным механизмом BPM, при этом сама её работа поддерживается сервером приложений.

SOA Suite также содержит ещё один важный продукт – Oracle Event Processing (OEP). Это решение для обработки сложных событий в реальном времени, в отличие от BAM оно позволяет не только производить мониторинг событий, но и вызывать ответные действия. К тому же OEP, являясь узкоспециализированным продуктом, обладает большей гибкостью и функционалом. Event Processing может использоваться совместно с BAM, предоставляя последнему данные о событиях в реальном времени.

Нельзя не упомянуть также такой продукт, как Oracle BPEL Process Manager (BPEL PM). Фактически он предоставляет среду выполнения для BPEL-процессов, однако обладает также средствами их создания и редактирования с использованием графического интерфейса. Эта возможность предоставляется в виде надстройки для JDeveloper (как и большинство SOA-компонентов) – BPEL Process Designer. Процессы, созданные в BPEL Process Designer, изначально реализуются в стандартной нотации BPEL, поэтому не требуют какой-либо трансляции и исполняются с помощью BPEL Service Engine. Нужно отметить, что BPEL PM также интегрируется с Human Workflow, Business Rules и BAM. В случаях, когда бизнес-процесс выходит за рамки компании или, наоборот, инициируется извне, на помощь приходит ещё один продукт из SOA Suite – Oracle B2B Integration. Его основная задача – упростить интеграционное взаимодействие с бизнес-партнёрами, а также сделать его безопасным и быстрым.

Кроме SOA и BPM Suite, которые интегрируют приложения и процессы, Oracle также предлагает продукты, обычно не относимые к интеграционным решениям. В то же время представить без них современные интегрированные приложения почти невозможно. Это решения из линеек Oracle WebCenter и Oracle Identity Management. Первая содержит все возможные продукты для интеграции как с различными web-приложениями компании в рамках одного композитного портала, так и с популярными сейчас социальными сетями и сервисами. Вторая – это решения для обеспечения безопасности приложений и связывания учетных данных, а также однократной аутентификации – eTrust Single Sign-On (SSO). Хотелось бы отметить, что в соответствии с лозунгом компании «Hardware and Software Engineered to Work Together» Oracle разрабатывает оптимизированные программно-аппаратные комплексы Oracle Engineered Systems. Сегодня насчитывается уже более 10 комплексов и их конфигураций. Все началось с Exadata – машины для ускорения баз данных, потом появилась Exalogic – машина для экстремальной производительности Fusion Middleware, серверов приложений и связующего ПО, затем Exalytics – комплекс для ускорения бизнес-анализа, Big Data Appliance – для Hadoop, обработки структурированных и неструктурированных Больших Данных. SPARC SuperCluster – универсальная система, которая подходит и для БД, и для выполнения приложений. Они не только являются идеально интегрированными решениями, так как это обеспечивается на этапе разработки, но и дают исключительные преимущества в скорости работы как решений интеграции данных, так и любых современных приложений.

Конечно, в узких рамках статьи невозможно подробно описать все продукты компании Oracle, так или иначе связанные с интеграцией. За рамками остались многие интересные вопросы и подробности реализации. Однако хочется надеяться, что подобный обзор всё же позволил вам познакомиться с интеграционными решениями Oracle и выявить для себя интересные направления, с тем чтобы в дальнейшем изучить их более подробно.