Проблемы интеграции данных
Курсовая работа, 12 Декабря 2010, автор: пользователь скрыл имя
Описание
Современная бизнес – среда характеризуется такими проблемами, как возрастающая глобализация, необходимость поддерживать устойчивый рост на уже сложившихся рынках и дальнейшее ужесточение законодательных требований; конфликт между стремлением сделать корпорацию более гибкой за счет упрощения бизнес-процессов и IT-систем; необходимостью обрабатывать значительные объемы информации (лавинообразный рост количества данных).
Решение этих проблем – оперативная, согласованная и легкодоступная информация.
Целью интеграции данных является получение единой и цельной картины корпоративных бизнес – данных, а также формирование знаний.
Без интеграции данных в единое целое информационное пространство сложно говорить о пространстве знаний предприятия и об инновационном развитии в целом.
Современная экономика требует архитектурного подхода к интеграции информации, который позволит работать с реальными данными, даже если они иногда являются непоследовательными или неполными.
Существуют три основных метода интеграции данных консолидация, федерализация и распространение данных. Также будет рассмотрена классификация технологий интеграции данных.
Содержание
Введение 3
Цели и задачи интеграции данных 4
Основные проблемы в области интеграции данных 4
Причины неудач глобальных интеграционных проектов 5
Методы интеграции данных 9
Значение Хранилищ данных 14
Классификация технологий интеграции 18
Правительственный шлюз в интеграции информационных систем 20
Брокер сообщений 20
Основные стандарты XML и веб-служб 25
Базовые принципы применения XML и веб-служб для организации межведомственного взаимодействия 26
Платформа интеграции Microsoft .NET 28
Реализации архитектуры и инфраструктуры интеграции на примере Microsoft BizTalk Server 28
Заключение 29
Список литературы 30
Работа состоит из 1 файл
курсак весь.docx
— 59.61 Кб (Скачать документ)Помимо этого, брокеры сообщений, как правило, поддерживают работу со специфическими адаптерами для различных типов приложений и данных:
- адаптеры к веб-службам;
- адаптеры к мониторам транзакций;
- адаптеры к различным реляционным СУБД;
- API-адаптеры для популярных коробочных приложений.
Наличие указанных дополнительных высокоуровневых служб, а также средств для моделирования процессов (графических средств описания и модификации процессов), по сути дела, превращает системы EAI и B2Bi в системы класса BPM (системы управления бизнес-процессами).
Сервер
Microsoft BizTalk Server представляет собой именно
такую систему управления бизнес-процессами
(BPM), которая обеспечивает широкий
набор средств для определения
сложных бизнес-процессов, в которых
могут участвовать внешние
- графические средства определения сложных, распределенных и долго протекающих (часы, дни, недели) бизнес-процессов. Эти средства имеют возможность разделения логики бизнес-процессов и физической реализации;
- средства визуального определения структурированных бизнес-документов;
- средства «мэппирования» (определения соответствия) между различными форматами бизнес-документов, включая возможности задания правил трансформации;
- средства управления (консоль) для определения организаций, вовлеченных в бизнес-процесс, и средства определения правил взаимодействия и обработки сообщений;
- средства анализа, отслеживания и хранения документов для последующего анализа;
- средства мониторинга и управления работой интеграционного шлюза.
- Базовые принципы интеграции с использованием XML и веб-служб
Основой межведомственной интеграции может служить интеграционное программное обеспечение и системы управления бизнес-процессами (BPM), такие как, например, Microsoft BizTalk Server. При этом XML претендует на роль универсального формата данных при такой интеграции. А сами ведомственные системы, как вновь разрабатываемые, так и унаследованные, могут быть реализованы в виде так называемых веб-служб или могут сделать свои интерфейсы доступными в виде веб-служб.
Первое,
что следует отметить, — это
то, что все описываемые ниже стандарты
являются открытыми, а в их разработке
принимают участие такие
Второе.
Данные технологии не зависят от платформы
и не требуют от организаций, чьи
приложения интегрируются, использовать
такие общие платформенные
XML
— это мета-язык для
XML
предоставляет общий формат
Все
это не устраняет необходимость
использования программного обеспечения
промежуточного слоя пересылки сообщений
(MOM), о котором речь шла выше, поскольку
поток XML-данных и документов должен
быть соответствующим образом
При
этом XML-данные имеют текстовый формат
и могут анализироваться
Таким образом, XML предлагает единое решение как для интеграции корпоративных приложений (EAI или A2A), так и для межведомственной B2Bi-интеграции.
Одна
из тенденций состоит в том, что
наиболее передовые продукты интеграции
класса систем управления бизнес-процессами
(BPM), такие как Microsoft BizTalk Server, не только
используют XML как формат обмена данными,
но также используют синтаксис языка
XML для описания бизнес-логики и контроля
маршрутов и потоков
Еще одна тенденция состоит в том, что прикладные системы все в большей степени реализуются в виде компонентов, так называемых веб-служб, функциональные возможности которых доступны для пользователей и других приложений по сети Интернет/интранет.
В этом плане системы управления бизнес-процессами (BPM) и технология веб-служб прекрасно дополняют друг друга. Интегрируемые прикладные системы и их модули могут быть реализованы в качестве четко определенных служб. Системы BPM обеспечивают выполнение потоков работ как цепочек взаимосвязанных служб, «склеивая» вместе службы в единые бизнес-процессы.
Приложение, которому требуется доступ к другому приложению как к веб-службе, использует регистр (каталог) UDDI для обнаружения нужной ему веб-службы (информация в регистре UDDI предварительно должна быть опубликована организацией, желающей сделать свою веб-службу публично доступной). В этом же регистре приложение определяет необходимые для взаимодействия интерфейсы. Интерфейсы публикуются с использованием стандарта WSDL. После этого с помощью интерфейса WSDL приложение вызывает веб-службу и применяет SOAP и XML как конверты и форматы для передачи информации, а протоколы HTTP и SMTP — в качестве транспорта для ее доставки.
- Основные стандарты XML и веб-служб
Интеграция информационных систем на основе веб-служб связана с использованием четырех ключевых стандартов:
- Extensible Markup Language (XML) — расширяемый язык разметки информации. Описывает информацию, пересылаемую по Интернету. Запрос на получение каких-либо данных или выполнение определенных действий другим приложением требует наличия способов передачи параметров и получения обратно определенных результатов. При использовании веб-служб эта информация описывается с помощью языка XML, являющегося международным общепринятым стандартом для описания произвольных данных, которыми в свою очередь могут обмениваться информационные системы.
- Simple Object Access Protocol (SOAP) — простой протокол доступа к объекту. Этот стандарт описывает протокол вызова веб-службы (удаленный процесс доступа к услугам/информации некоторой прикладной системы). То есть передаваемые параметры описываются с помощью языка WSDL, а сам процесс вызова описывается с помощью SOAP. Другими словами, этот протокол как бы описывает конверт с информацией для вызова веб-службы. И этот конверт может быть доставлен от одного приложения к другому с помощью таких транспортных протоколов как Hypertext Transfer Protocol (HTTP) или протоколов электронной почты наподобие Simple Mail Transfer Protocol (SMTP). В типичной ситуации взаимодействия система одной организации может вызвать систему другой организации, используя протокол SOAP. Запрос, который обычно содержит ту или иную форму бизнес-документа, посылается инициатором к запрашиваемой системе. Последняя принимает запрос, и входящий документ, содержащийся в запросе, обрабатывается. В результате запрошенная система генерирует ответ, который возвращается инициатору взаимодействия. Инициатор также информируется о статусе (успех или иное) запроса. Протокол SOAP основан на стандарте XML и состоит из трех частей: формат конверта, который описывает содержимое сообщения и то, как оно должно обрабатываться; набор правил кодирования для определения типов данных конкретного приложения и соглашения по выполнению удаленных вызовов процедур.
- Web Services Description Language (WSDL) — язык описания веб-служб. Это основанный на стандарте XML язык, который определяет способ доступа к веб-службам. Он описывает функциональные возможности веб-служб и группирует операции взаимодействия в определенные интерфейсы, задающие способы выполнения операций и те параметры, которые должны быть на входе и выходе.
- Universal Description, Discovery, and Integration (UDDI) — универсальный метод описания, обнаружения и интеграции. Технология UDDI предоставляет средства, с помощью которых можно сделать так, чтобы любые приложения или услуги, описанные в терминах веб-служб, могут быть распознаны другими приложениями и/или организациями. То есть это стандарт создания регистра, используя который, можно описать организации и предоставляемые ими услуги в виде, доступном для динамического обнаружения и взаимодействия. Основные объекты информационной модели UDDI — это организации (businessEntity), услуги (businessService) и связующий шаблон (bindingTemplate), соответствующие, по аналогии с обычным телефонными справочниками, так называемым белым страницам (адресная и контактная информация), желтым страницам (предоставляемые услуги) и зеленым страницам. В традиционных телефонных справочниках наличие зеленых страниц, описывающих способы получения услуги, не являлось необходимым, поскольку предполагается, что телефонная связь является единственным способом доступа. Спецификацией UDDI предусматривается произвольное множество методов обращения к каждой веб-услуге, для описания которых и служит связующий шаблон.
- Базовые принципы применения XML и веб-служб для организации межведомственного взаимодействия
Ниже
перечислены основные принципы применения
XML и веб-служб для организации
межведомственного
- веб-службы как основной механизм интеграции. Системы отдельных государственных органов, включая системы документооборота, могут быть описаны в виде веб-служб;
- XML как стандарт обмена данными;
- возможность создания общедоступных регистров ведомственных систем на федеральном, региональном и местном уровнях с помощью универсального стандарта UDDI;
- «слабое связывание» информационных систем на основе инфраструктуры пересылки сообщений в виде XML-документов.
Таким образом, ключевым принципом применения XML для межведомственной интеграции информационных систем, в том числе систем документооборота, является использование веб-служб и регистров на базе универсального стандарта UDDI. Причем UDDI может использоваться для создания общедоступного регистра не только государственных информационных систем, но и самих государственных органов и их услуг, даже если они предоставляются традиционным (неэлектронным) способом.
Интеграционный шлюз может обеспечивать не только маршрутизацию сообщений (брокер сообщений), но и реализовывать функции коллективного UDDI-регистра доступных государственных информационных систем, а также реализовывать функции «брокера веб-служб», то есть обеспечивать механизм взаимодействия между ведомственными информационными системами как веб-службами.
- Платформа интеграции Microsoft .NET
Для проекта создания Правительственного шлюза в Великобритании, аналогичных проектов в Дании и ряде других стран в качестве партнера государства выбрали Microsoft и ее технологии, так как Microsoft сформулировала достаточно передовую концепцию архитектуры информационных систем под названием .NET, которую можно определить кратко следующим образом: «Microsoft .NET — это программное обеспечение для интеграции информации, людей, систем и устройств на основе технологий XML и веб-служб».
Платформа Microsoft .NET предоставляет интегрированные средства разработки, обеспечивающие создание приложений в виде веб-служб, а также серверные продукты, в которых обеспечена глубокая поддержка стандартов XML и веб-служб с точки зрения информационного обмена.
- Реализации архитектуры и инфраструктуры интеграции на примере Microsoft BizTalk Server
BizTalk
Server является таким сервером
- маршрутизацию документов;
- конвертацию документов в необходимую форму;
- формализацию деловых процедур;
- «транзакционность», то есть контроль за выполнением деловых операций с информацией и документами.
Здесь имеет смысл отметить масштабируемость решения, предложенного корпорацией Microsoft:
- 5 млрд. обращений в год;
- 500 транзакций в секунду;
- обмен 100 документами по 10 Кбайт в секунду;
- готовность 365×7×24 (365 дней в году, 7 дней в неделю и 24 часа в сутки);
- линейный рост производительности с добавлением оборудования;
- поддержка механизма транзакций (Transaction Engine, TE).
Заключение
Операционные
и аналитические системы
При сборе всех этих данных используются различные подходы и методы интеграции данных. Решения для интеграции данных и повышения их качества - это ключ к контролю информации.
К программным системам интеграции данных аналитики относят решения, обеспечивающие инфраструктуру доступа и доставки данных для следующих сценариев интеграции.
Успешная интеграция данных приводит к формированию знаний, что обеспечивает организации возможностями для принятия надежных бизнес - решений.