大数据分析专项职业能力考核规范

能力名称：大数据分析 职业领域：计算机软件工程技术人员

工作任务

操作规范

相关知识

考核比重

(一)

操作系统系统及服务安装部署

1.能为服务器安装Windows、Linux操作系统；

2.能装载新磁盘，给磁盘建立分区，能创建文件系统，装载磁盘；

3.能在Windows、Linux上安装Apache、PHP、Python等服务，并能够配置服务使其正常运行以及随系统自动启动；

4.能在Windows、Linux上安装、配置防火墙；

5.能在Windows、Linux上进行包括文件管理、系统运行库配置、管理、查错，保证各种自带和新安装的系统服务正常运行。

1.Windows、Linux操作系统基础知识及安装步骤操作；

2.磁盘分区相关知识和指令，知道不同磁盘分区的区别，磁盘卷管理相关知识和指令；

3.Yum、rpm等形式的软件下载、安装指令，系统服务配置指令；

4.基本的防火墙知识和系统自带防火墙的基本配置；

5.Shell脚本的基本知识，文件管理、库管理、库依赖关系等Shell命令。

8%

(二)

数据库安装、管理和操作

1.能在Windows、Linux上安装MySQL、Oracle、SQL Server等数据库系统；

2.能够配置MySQL、Oracle、SQL Server等系统，保证其正常的启动和停止；

3.MySQL、Oracle、SQL Server等数据库的系统配置，包括缓存设置、线程设置、连接设置等；

4.MySQL、Oracle、SQL Server等数据库的基本管理，包括数据库的创建、删除、修改，用户和角色的创建、删除、修改，用户和角色权限的设置；

5.能够通过SQL语句实现表的创建、删除、修改等数据定义操作；

6.能够通过SQL语句实现数据的增加、删除、修改、查询等基本操作，能够通过SQL语句实现子查询、拼接查询、合并查询等复杂查询；

7.了解基本的数据库的调优方法。

1.数据库基础知识及安装MySQL、Oracle、SQL Server步骤操作；

2.MySQL、Oracle、SQL Server数据库服务配置知识；

3.MySQL、Oracle、SQL Server数据库的系统参数含义及用途；

4.MySQL、Oracle、SQL Server数据库的系统管理指令；

5.DDL SQL语句；

6.DML SQL语句；

7.表索引设计、SQL执行计划分析和优化。

8%

(三)

数据获取

1.从结构化数据库采集数据到新的数据存储引擎中；

2.从MySQL数据库采集数据到新的数据存储引擎中；

3.从应用系统中采集数据到新的数据存储引擎中。

1.基本的ETL工具使用；

2.通过CDC技术 从结构化数据库采集增量数据；

3.通过触发器、业务系统设计采集增量数据。

10%

(四)

数据加工、清洗、整合

1.数据的清洗，将不符合规则的数据进行修正、标注、清洗；

2.数据的转换，将数据按照规则转换成不同的格式；

3.数据的整合，将来自不同数据库、不同表的数据加工成一张统一的大表；

4.将清洗、转换、整合后的数据导入至新的数据存储引擎中。

1.基本ETL工具的使用；

2.基于SQL语句、类SQL语句、公式的数据过滤；

3.基于SQL语句、类SQL语句、公式的数据转换；

4.基于SQL语句、类SQL语句的数据整合；

5.基于统一的数据整合平台，通过类自然语言的数据过滤、加工、整合，形成新的数据源。

10%

(五)

元数据管理

1.为来自不同的数据源建立元数据，描述数据；

2.基于原始数据创建新的逻辑数据源，实现数据的统一加工；

3.基于原始数据创建数据控件，用于过滤数据和数据显示；

4.基于原始数据创建定制数据格式化元素，用于对数据进行用于不同可视化目的加工。

1.基于统一的数据整合分析平台，为每个数据库的物理表或者逻辑视图创建和管理物理表元数据；

2.创建和管理逻辑表元数据；

3.创建和管理物理字段元数据；

4.创建和管理逻辑字段元数据；

5.创建和管理数据常量控件；

6.创建和管理可视化数据类型。

8%

(六)数据探索

1.针对不同的数据，设计基于各种规则、公式的实时数据过滤；

2.针对不同的数据和模型，设计基于各种规则、公式的数据广度和深度探索和钻取；

3.针对不同的数据，设计基于各种规则、公式的联动模型设计；

4.针对不同的数据，设计基于各种规则、公式的联动页面设计；

5.针对不同的数据范围统计，设计数据范围的实时调整和统计方法调整；

1.基于统一的大数据分析平台配置，将模型中各种形式的数据过滤、数据连接过滤、统计后数据过滤进行关联，并设计实现统一的模型实时过滤；

2.基于统一的大数据分析平台配置，将多个模型中各种形式的数据过滤、数据连接过滤、统计后数据过滤进行关联合并，并设计实现统一的页面数据实时过滤；

3.基于统一的大数据分析平台配置，配置实时多维度数据分析；

4.基于统一的大数据分析平台配置，配置默认数据钻取；

5.基于统一的大数据分析平台配置，配置定制数据钻取；

6.基于统一的大数据分析平台配置，配置单模型联动；

7.基于统一的大数据分析平台配置，配置多模型联动；

8.基于统一的大数据分析平台配置，配置数据统计实时数据范围和实时统计方法。

20%

(七)

数据分析

1.数据模型设计、实现；

2.基于各种规则、公式的数据过滤；

3.基于各种规则、公式的数据列输出配置；

4.数据的分类统计，基于等间隔、固定数量、定制的范围分类统计；

5.基于各种规则、公式的统计后数据过滤；

6.基于各种规则、公式的结果排序；

7.基于各种规则、公式的数据范围控制；

8.基于各种规则、公式的模型数据结果的二次加工、清洗、转换；

9.数据透视模型的配置；

10.数据模型的固化，将数据模型实现串联、并联，创建复杂数据模型；

11.数据模型计算形式、快照的配置。

1.基于统一的大数据分析平台配置数据的过滤、清洗；

2.基于统一的大数据分析平台配置各种形式的值和范围统计，各种形式的灵活日期范围统计；

3.数学及统计学相关基础知识；

4.有通过PHP、Python、R语言等语言进行数据统计分析的经验；

5.数学表达式、条件表达式、逻辑表达式的编写和调试；

6.数学、时间、字符、逻辑等公式的编写和调试；

7.数据透视表的配置、使用和理解；

8.不少于一个行业的业务理解和积累；

9.数据思维，基于任何数据都可以发现背后的规律和价值，对数据有较好的洞察力；

10.用户画像、用户经营分析、用户行为分析、精准营销等大数据应用的实践经验。

20%

(八)

数据可视化

1. 将数据模型分析的结果通过各种可视化形式展示；

2. 设计针对不同终端屏幕的数据可视化仪表盘；

3. 针对不同的主题，设计不同的数据页面。

1. 不同的可视化图表表达的数据含义；

2. 不同的可视化图表的多个维度的含义，以及数据的映射；

3. 基于大数据分析平台的可视化页面设计，页面布局、背景、透明度、主题设计，动态数据元素，动态分组元素，可视化元素；

4. 模型分组设计，动态多元素分组；

5. 模型的背景、透明度、边框、标题、重叠碰撞设计。

16%