海量数据 AIS数据 netCDF数据格式 事件模型 事件发现引擎

海量数据论文：基于海量数据的存储与实时事件发现系统的设计与实现

【中文摘要】随着航运业朝着规模化、系统化发展,数字化管理成为发展的必然趋势。为用户提供高效精确的数据服务,就成为航运平台的主要目标之一。然而国内目前在航运数字化领域研究落后于国际先进水平,对AIS数据的使用也多处于提供原始数据查询的层次。在这种情况下亟须开发出一种能够实时发现AIS数据背后隐藏的事件的系统,然后通过海运平台将这些事件信息发送给关注这些事件的用户。海量数据即是大量,或超大量的数据。由于大小是一个相对的概念,所以海量数据的定义也是随着存储数据的硬件性能,设备处理数据的计算速度,以及构建在之上的软件的性能的变化而变化的。本文研究的AIS数据就是一种海量数据,由于数据量的特殊性,对这种数据的存储和读写服务的提供方面,使用传统的关系数据库暴露出多方面的问题。因此,本文基于netCDF数据格式对构建AIS数据的存储底层做了有益的尝试。1.首先研究了海量数据存储。基于目前常用的开源数据库MySQL o包括MySQL的主流存储引擎的研究,并对在海量数据条件下MySQL的读写性能进行了测试。2.研究了netCDF数据格式。深入研究了netCDF数据格式的物理存储模型,结合AIS数据,提出了使用net...

【英文摘要】With the shipping industry toward large-scale, systematic development,Digital management becomes an inevitable trend. Provide users with accurate and efficient data services to become one of the main objectives of the shipping platform. However,in domestic,the research of shipping with digital is lagging behind the international advanced level. The use of AIS data is still in the level of providing raw data inquiry In this case, an urgent need to develop a real-time AIS data system to find the events behind...

【关键词】海量数据 AIS数据 netCDF数据格式 事件模型 事件发现引擎

【英文关键词】Mass data AIS data netCDF data format event model event discovery engine

【索购全文】联系Q1：138113721 Q2：139938848

【目录】基于海量数据的存储与实时事件发现系统的设计与实现摘要4-5ABSTRACT5-6第一章 绪论11-161.1 研究背景11-131.1.1 海量数据处理背景11-121.1.2 AIS数据121.1.3 AIS事件发现系统的研究背景12-131.2 AIS数据应用现状和研究意义13-141.3 本文要解决的问题14-151.4 论文的组织结构15-16第二章 需求分析16-202.1 总体需求16-172.2 系统模块功能需求17-202.2.1 对外数据查询模块182.2.2 数据存储模块182.2.4 原始数据导入模块18-192.2.3 AIS事件发现引擎192.2.5 订阅和发送模块19-20第三章 海量数据存储的研究20-263.1 MySQL数据库存储引擎介绍20-213.2 整表存储方案以及测试21-233.3 分表存储方案的研究23-253.3.1 数据表分区的背景研究23-243.3.2 AIS数据分表方案243.3.3 缺陷分析24-253.4 研究结论25-26第四章 基于netCDF数据格式的数据存储研究26-404.1 netCDF数据格式背景介绍264.2 netCDF数据格式深入研究26-364.2.1 netCDF数据格式的物理结构27-284.2.2 netCDF数据格存储AIS数据28-364.2.3 小结364.3 I/O效率测试36-384.3.1 固定维度的逐条写入36-374.3.2 变化维度的逐条写入374.3.3 批量变化维度写入374.3.4 写入实验总结37-384.3.5 单条读取384.3.6 批量读取384.3.7 小结384.4 本章总结38-40第五章 设计实现netCDF函数库40-535.1 数据结构405.2 函数库结构40-415.3 模块详细设计41-525.3.1 文件直接操作模块设计42-445.3.2 netCDF文件描述符管理模块44-465.3.3 I/O过程处理模块46-485.3.4 封装Mysql C API I/O函数48-495.3.5 初始化环境模块49-505.3.6 数据库查询应用封装50-515.3.7 netCDF库外部接口51-525.4 函数库的编译和使用52-535.4.1 函数库编译525.4.2 函数库使用52-53第六章 AIS数据存储系统的设计与实现53-636.1 系统结构53-546.2 辅助数据库表54-566.2.1 实时数据表54-556.2.2 netCDF文件索引格式表556.2.3 netCDF文件索引当日表55-566.2.4 netCDF文件索引历史表566.3 程序运行流程56-576.3.1 数据导入线程566.3.2 数据表处理线程56-576.4 数据文件压缩57-586.5 错误恢复方案58-596.5.1 索引数据表错误恢复58-596.5.2 数据文件错误恢复596.6 AIS数据查询服务进程的设计59-626.6.1 流程设计60-616.6.2 查询接口设计61-626.7 本章小结62-63第七章 AIS事件模型和事件发现引擎的设计与实现63-897.1 事件模型63-717.1.1 状态变化事件63-647.1.2 航行动态事件64-687.1.3 区域相关事件68-697.1.4 设备相关事件69-717.2 数据模型设计71-787.2.1 事件ID码表71-727.2.2 流水事件表727.2.3 流水事件辅助表72-737.2.4 用户订阅的系统eventID参数737.2.5 用户订阅邮件发送队列73-747.2.6 用户自定义订阅规则表(区域相关)747.2.7 用户自定义订阅规则表(点相关)74-757.2.8 消失跟踪中间表757.2.9 消失不跟踪中间表75-767.2.10 实时AIS数据表767.2.11 实时AIS数据过期表767.2.12 区域事件中间表76-777.2.13 航线添补表777.2.14 系统计算航线结果表777.2.15 随机点航线计算结果表77-787.3 事件发现引擎设计78-867.3.1 数据存储模块79-817.3.2 流程控制模块81-837.3.3 事件计算单元83-867.4 系统上线测试86-897.4.1 数据导入netCDF系统运行结果867.4.2 事件发现引擎计算结果86-877.4.3 事件计算结果展示87-89第八章 论文总结与展望89-918.1 论文工作总结898.2 进一步的工作89-91参考文献91-92致谢92-93攻读学位期间发表的学术论文目录93

本文来源：https://www.2haoxitong.net/k/doc/f0785e7ea26925c52cc5bfce.html