构建集团数据管理架构
支撑数据资源开发利用
管理信息部
通钢集团是国有大型钢铁联合企业集团，涵盖采矿、选矿、烧结、焦化、炼铁、炼钢、轧钢及机械制造在内的整套钢铁冶炼及压延加工工艺流程，以及水、电、煤气、氧气、铁路运输、汽车运输等动力、能源的生产和供应体系，其特点是企业规模大型化、生产工艺流程长、工序之间联系紧密、数据信息量大、信息处理业务繁杂。按照“信息化带动工业化、工业化推动信息化”的要求，通钢集团根据各专业管理部门和生产经营管理工作的需要由深圳金蝶公司开发了K3基础物流和扩展物流多个专业信息管理系统，有效地提升了企业生产、经营、管理各项工作的水平。各专业系统的数据资源如何进行整合和利用，更好地为决策服务，成为摆在通钢信息管理人员面前的重要课题。只有对各专业系统的数据进行有效管理、提取有用的资源再利用，构建一套科学完整的数据管理架构，来支撑数据资源的开发和利用，才能使信息资源更高效地为管理和决策服务，从而全面提升企业核心竞争能力。
一、课题的提出
综观企业信息化，主要包括硬件、软件和数据三大部分的建设和管理工作。其中硬件是基础，软件是平台，数据管理是根本核心，也是最高层次。“三分技术、七分管理、十二分数据”，就说明仅有硬件和软件系统并不等于成功和完善的企业信息化，更重要的是要构建一套科学、合理的企业数据管理体系架构，以实现有效支撑数据资源的深入开发和利用工作。
目前公司信息系统的大多数数据信息仍停留在操作层，在数据库中，存放着大量的基础数据，这些数据是系统重要的基础资源，但它们没有经过分类、组织、加工、浓缩，数据量极大，细节数据过多，历史数据的管理也不规范，造成当前数据缺乏高效的集成，难以供管理者和决策者使用，这种情况造成了数据资源的严重浪费。为了对这些数据资源进行充分的利用，必须将系统内外的相关数据，包括历史数据进行有效的集成，针对管理者和决策者的需求，对这些数据进行结构上的重组和设计，使这些数据转化成统计、分析和辅助决策信息，这些信息能够被管理者和决策者从各个角度反复使用，只有这样，才能最大效率的利用信息资源，真正体现信息系统的价值。
二、构建集团数据管理架构的实施内容
（一）构建集团数据管理架构的目的
构建集团数据管理架构的目的就是为充分利用数据资源，通过统计分析系统和数据挖掘工具，通过对系统内的数据资源分类、整和，形成客观的分析结果并直观地展现给企业管理者，为决策提供支持服务。
（二）通钢集团数据管理体系的架构
根据通钢集团各专业管理信息系统操作层数据到生成在线决策支持产品这条线，将通钢集团数据管理体系的架构分为四层结构，即：操作数据层、数据清洗转储层、数据仓库层和数据在线分析层，具体如下图所示：
.
(三) 通钢集团数据管理体系各层次的涵义和功能：
1、操作数据层(ODS)
ODS (Operate Data Save)——操作数据存储。在这一层次中主要包括企业内部的采购数据、生产数据、质量检斤数据、销售数据、财务成本数据、人事数据等。但仅仅拥有企业内部数据并不能满足企业在激烈的市场竞争中占有大量数据信息资源的需求，因此还必须对企业外部浩如烟海的数据进行甄别和筛选，把具有利用价值的外部数据引入到企业的基础数据库当中。
利用目前比较常见和流行的大型数据库管理系统Microsoft SQL Server，提取各系统的基础数据，并存储在数据库(Database)当中。
2、数据清洗转储层(ETL)
ETL：数据抽取（Extract）、转换（Transform）、清洗（Clean）、装载（Load）。从操作层的基础数据到数据仓库，必须经过ETL过程的处理，即，根据数据分析和利用工作对数据仓库的要求，首先要从基础数据源抽取出所需的数据，再经过数据转换和清洗，最后按照预先定义好的数据仓库模型，加载、转储到数据仓库中去。
（1）、通过ETL过程处理数据的必要性
a. 是数据集中管理的需要
由于通钢集团作为钢铁联合企业工艺流程长、专业分工细致，并且操作数据层的基础数据是与各运作软件系统紧密相联的，使得操作层基础数据散落在不同的数据库当中，不利于数据集成化管理，严重影响了数据的利用效率。
b. 是数据规范化的需要
基础数据是在业务处理过程中产生的操作型数据，它主要是为满足具体业务管理工作的需要。系统内数据缺乏规范性，存在数据冗余；并且数据仓库要求具有支持海量数据、快速检索、利于分析和决策的特点，但基础数据标准大多不同于构建数据仓库的标准，不利于数据的分析和利用工作，因此必须通过ETL方式对基础数据进行规范。
(2)、在ETL过程中，注意解决好以下两个问题。
a.解决好ETL数据处理的速度和运作软件系统工作效率的关系。
b. 在基础数据库与数据仓库之间建立接口标准。
3、 数据仓库层(DW)
数据仓库（Data Warehouse）是指在企业管理和决策中面向主题的、集成的、与时间相关的、不可修改的数据集合，它是通过对原有的基础数据时序性地进行抽取、转换、清洗、装载而形成的真实、全面、统一的数据结构形式，是以传统的数据库技术作为存储数据和管理资源的基本手段，以统计分析技术作为分析数据和提取信息的有效方法，以人工智能技术作为挖掘知识和发现规律的科学途径，并通过运用在线分析处理技术（On-Line Analytical Processing）、数据挖掘技术(Data Mining)来实现企业生产经营管理等决策支持（DSS）的数据应用。
4、 数据在线分析层(OLAP)
在线分析处理（On-Line Analytical Processing），是基于数据仓库的应用，对数据进行层次更深、范围更广的分析、挖掘以及信息发布，为科学决策提供支持服务。主要工具有统计分析工具、数据挖掘工具等。
建立数据仓库只是数据管理的手段，只有利用统计分析、数据挖掘等工具，对存在于数据仓库中的不同时期、企业内外的相关数据进行科学、深入的分析，揭示企业运行状况，找出优势与不足，利用决策支持系统（Decision Support System）形成客观的分析结果并直观地展现给企业管理者，以辅助进行企业生产经营管理重大决策，才能真正达到提升企业核心竞争能力、实现企业生存与发展的最高目标。
主要功能有：
（1）、利用统计分析工具实现编制统计报表、数据分析和数据展现
利用统计分析工具，可以定期或不定期地按照需求提取数据，编制各种统计报表，对数据进行详细分析，并可展现分析结果。同时可以更好地支持企业统计工作，实现统计管理信息化。
（2）、利用数据挖掘工具对数据从时间及空间维度上进行提取、分析和展现
数据挖掘(Data mining)：是一种决策支持过程，是一个跨学科的知识领域，它汲取了数据库技术、人工智能、机器学习、神经网络、统计学、模式识别、知识库系统、知识获取、信息检索、高性能计算、数据可视化等方面的成果，对数据采取钻取、切片、旋转等各种分析动作，深入剖析数据，高度自动化地分析企业原有的数据，做出归纳性的推理，以发现隐含的趋势、模式和关系，进行总结分析和预测，支持企业决策者做出正确的决策。
钻取是改变维的层次，变换分析的粒度。它包括向上钻取（roll up）和向下钻取（drill down）。向上钻取是在某一维上将低层次的细节数据概括到高层次的汇总数据，或者减少维数；而向下钻取则相反，它从汇总数据深入到细节数据进行观察或增加新维。
切片是在一部分维上选定值后，关心度量数据在剩余维上的分布情况。
旋转是变换维的方向，即在表格中重新安排维的放置（例如行列互换）。
三、实施效果
经过近一年系统开发人员和系统分析人员的共同努力，目前通钢集团数据管理构架基本按这四层结构构建完毕，利用统计分析系统、K3万能报表等工具开展数据资源开发和利用工作，共开发出近30张反应公司生产经营状况的统计分析报表，为领导及时掌握生产经营情况、开展科学管理决策提供了信息依据。
1、 数据查询和数据分析能力更加灵活，及时反映公司生产经营效果。
目前大多数企业对现代信息技术的应用主要集中于运作软件系统，虽然它能保证业务处理过程的自动化，但对这些操作型基础数据的应用，一般被限制在运作信息系统所规定的固定功能上，缺乏更灵活的数据查询和分析能力，无法满足更高层次数据分析和决策支持的需要。而数据仓库的数据是经过一段时间的收集，经过加工处理的，更适用于比较、趋势分析和预测，因此它能更好地支持对数据的随时需要的查询和深入进行数据探索，方便用户通过不同方法分析数据，在不同时间和空间上提供了更大的自由度，数据能够准确及时地反映当期公司生产经营成果。
2、 通过在线分析及时发现公司管理及业务处理方面存在的问题，辅助提高管理能力。
一年来通过对各信息系统的数据分析发现不少问题，有管理上不到位的问题、有各业务处理部门结账时间不一致的问题，还有物料编码不规范以及业务处理不按业务类型录入信息等问题，针对这些问题，我们都组织相关管理部门多次召开专题会议进行了落实并制定了多项管理制度进行管理规范。先后下发了《股份公司原燃料差量业务核算办法》、《关于规范K/3系统结账时间的通知》、《股份公司炼钢、轧钢生产单位金属回收率考核办法》等管理办法，规范了自产生铁、外购生铁分帐管理、炼钢生产单位回收废钢帐务处理事宜，已发生业务没有及时进行帐务处理等问题，为管理解决了各种由于管理问题使指标失真或指标挖潜等深层次问题，对公司细化管理起到很大作用。
3、为管理工作和决策支持提供全方位服务。
以前做数据分析，大的分析可以做上几个月，由于分析时间过长，领导们经常无法及时拿到所需的数据资料。利用在线分析功能，解决了手工分析工作量大，分析滞后的问题，在线分析能够时时反映企业的生产经营状况。同时，在线分析具有综合分析和充分利用数据资源的能力，可以进行数据的深加工，提高了分析的准确性、全面性、及时性，能为领导和公司各专业管理部门提供重大决策支持服务。
目前，由于集团数据管理构架刚刚构建，大量系统开发工作刚刚起步，许多功能还没有充分显现，2005年我们将在构建决策分析系统上很下功夫，构建决策支持系统数学模型，提出指标预警和实施建议。力争在年末前开发出一套真正使领导决策起到一定参考价值的智能型综合决策分析系统。相信，通钢集团的数据资源能够通过在线分析系统得到更广泛的应用，更好地为决策提供支持服务，对提升企业管理和培育企业核心竞争力起到不可替代的作用。
(创造人：石靖、张宏伟、韩波、王群、于占洋、韩素虎、马英俊、康连华、周飞)
本文来源：https://www.2haoxitong.net/k/doc/117484d33186bceb19e8bbb3.html
文档为doc格式