基于Esper的复杂事件处理系统设计与实现.doc

1、学 号 密 级 基于Esper的复杂事件处理系统设计与实现Design and Implementation of Complex Event Processing System Based on Esper学生姓名：所在学院：所在专业：指导教师：职称：所在单位：论文提交日期：论文答辩日期：学位授予单位：摘要如今，随着互联网，通信网络，物联网，社交网络和其他大型网络的飞速发展，以分，秒为单位，通过数据的爆炸性增长产生连续的实时数据流秒触发。快速生成复杂的类型和数据在体内的大量具有潜在的商业价值。为此，提出了事件驱动框架，在该框架下生产的复杂事件处理技术提高了对事件数据进行实时分析的能力。本文先

2、是介绍了研究背景、意义和研究的现状，接着对论文涉及的相关技术的介绍，最后按照软件开发的流程，进行了需求分析，提出了一种基于Esper开源框架的解决方案，利用事件流处理技术，对事件数据流的实时监控和分析。通过配置Esper，使用Esper设计、管理并监控业务事件，可以使用不同的事件模式来过滤事件数据，从而发现异常状况。系统获取得到的消息事件，经过Esper引擎进行处理，输出给监听器或订阅者处理。本文在Myeclips的开发平台下，依据分层设计原理，使用MVC框架、Java语言开发，同时采用MySql作为系统运行的数据库，最终实现了系统。最后，经过系统测试，在前端页面的操作可以管理并监控业务事件，

3、系统的基本功能得到实现。关键词：复杂事件处理技术；事件流处理；Esper1ABSTRACTNowadays, with the rapid development of Internet, the networks of telecommunications, the Internet of things, the social networking and other large networks, in minutes, seconds, the continuous real-time dataflow generated by the explosive growth of data

4、is triggered in seconds.The quick-generated complex types and data have a large number of potential commercial value of the body. The event-driven (event-triggered) framework had been presented in which the produced complex event-processing technology can improve the performance of the event-data re

5、al-time analysis.This paper at first introduces the background ,significance and the current situation and then the related technologies in this paper, and at last, according to the software development process,proposes a solution based on Esper open source frame , using the event stream processing

6、technology for real-time event dataflow monitoring and analysis. to configure Esper, to use Esper design, manage and monitor business events, the system can use a different event-patterns to filter event-data to find anomalies. Getting news-events of the system, processed by the Esper engine and out

7、put to monitors or subscribers .This system under the Myeclipse development platform, according to the principles of hierarchical design,using MVC framework, Java language development and MySql database as the running system , and ultimately realize the system.Finally,after the system test,the event

8、s can be managed and monitored in the front page,and the basic functions of the system can be implemented.Key words: Complex Event Processing; Event stream processing; Esper第1章 绪论目录第1章 绪论11.1 研究背景11.2 研究目的及意义11.3 国内外研究现状21.3.1 复杂事件处理的研究21.3.2 Esper引擎41.4 本文的主要内容41.5 本文结构5第2章 相关技术介绍62.1 复杂事件处理62.1.1

9、事件处理62.1.2 复杂事件处理CEP82.2 Esper平台92.2.1 Esper平台介绍92.2.2 Esper引擎的功能102.2.3 Esper事件处理语言EPL112.3 本章小结13第3章 系统的需求分析和概要设计143.1需求分析143.1.1 总体概述143.1.2 功能需求143.1.3 开发环境需求153.1.4开发模式153.2 系统概要设计173.2.1 设计要点173.2.2 系统架构设计173.2.3 系统流程设计183.2.4 系统功能结构设计203.3 本章小结21第4章 系统的详细设计与实现224.1 详细设计224.1.1 数据库设计224.1.2 事件

10、处理模块244.1.3 事件输入模块254.1.4 事件输出模块274.1.5 用户模块284.2 具体实现294.2.1 事件处理模块294.2.2 事件输入模块334.2.3 事件输出模块344.2.4 用户模块354.3 系统测试364.4 本章小结40结论41参考文献42攻读学士学位期间发表的论文和取得的科研成果44致谢451第1章 绪论1.1 研究背景当今时代，随着信息技术和科学技术快速的发展节奏，应用管理系统成为了企业用来管理维护企业各种活动的手段1。由于大量的事件通过互联网、因特网或者其他私用网络的交互连接在彼此之间传递着。企业应用系统通过与外部环境的交互都会产生大量的事件，面对

11、越来越多的事件，企业应用系统要如何对这些事件作出正确的判断和反应成为了焦点。由于输入事件的种类、速度和种类的不断变化，使得软件系统监控的事件也复杂化了。另外，系统又该如何在大量的事件输入中选取出和分类出系统定义好的特殊事件2。在表面看事件云，其中的事件好像是彼此独立，没有任何关系3。其实不然，当对事件做具体的分析时，就会发现事件彼此之间都是相互联系，比如说，A事件在B事件的影响而产生的，C事件是发生在D事件的前面。对此，面对事件彼此间的关联，应用系统又该如何快速的对事件云做出判断和处理对于企业做出决定性的策略有着重大的影响。在该背景下，出现了事件处理技术（Complex Event Proce

12、ssing,CEP）。对于IT行业来说事件处理技术并不是一个全新的技术，这个技术最早提出的是在20世纪的90年代末的时期。最初，事件处理技术只是用来处理离散的事件，其中比较比较经典的是对于天气状况的模拟和预测、对事件的仿真、通信的应用和信息的集成。在这个期间，海内外有两个高等学府在探索新的知识领域，即复杂事件处理4。其中Esper就是典型的复杂事件处理系统。1.2 研究目的及意义伴随着科技和经济的发展，信息的及时获取和处理成为了各行各业的的关键问题。复杂事件处理最重要的工作是创建存放查询条件和对其的查询1。当实时的事件流经过这些查询条件时就会检验查询条件有没有被触发。为此，一旦有新的事件进入系

13、统时，由于系统数据库存放了以创建好的查询条件就不用再去创建，这样大幅度提高了系统处理事件的速度。每天企业的应用系统有大量的数据和事件在不断传递和更新，如何快速的搜索和分析出对企业用意义的事件成为了主要的关注点。对于大多数企业而言，监控业务事件都是很关键的，尤其是大家对各项指标和可靠性都很重视。在这样一个超级竞争，对遵循某些规章制度或约定近乎疯狂的环境中，监控必须是实时的（或者接近实时）。在过去，企业每几周或者每个季度都要做一次绩效监控，而如今秉承这样的的哲学的企业是存活不了多久的。正如Prahalad和Krishnan指出的“竞争性亲眯那些发现新趋势并迅速响应的人”，并且“新的竞争环境要求我们

14、持续地分析数据已得到洞察”。复杂事件处理通过实时监控任何非常规的变化，能够在缓解风险方面扮演重要的角色5。更进一步讲，复杂事件处理提供了的运营洞见能帮助企业迅速地侦查到新的机会或趋势，从而提升它们的竞争地位。 1.3 国内外研究现状1.3.1 复杂事件处理的研究 虽然复杂事件处理技术是个新兴的技术，但是事件处理技术却有50多年的历史6。在早期的很多企业的事件处理应用系统并没有复杂事件监测的模块，系统只是单纯的对最基础的简单事件进行处理和监测。这样的事件处理系统是无法面对大量的事件涌入系统时，对事件的及时处理，同时，也给系统带来了很大的负担，系统的处理能力大大的下降。这个技术最早被提出的时间是在20世纪90年代末，当时由于它的提出解决了由于SOA的问题。对于该项技术的研究现在还处于第二个发展阶段。最初与复杂事件处理相关的技术研究是主动式数据库3。后来，出现了一个研究焦点，那就是基于主动数据库的事件处理原则-事件-条件-动作规则ECA(Event-Condition-Action)7。ECA规则，指的是当指定的事件发生，同时满足条件时，就会