需求分析
1. 引言
1.1. 背景
随着大数据革命的到来,引起数据分析人才的需求激增,而市场上的人才供给出现脱节现象。为更好地了解市场需求,选取拉勾网、智联招聘、前程无忧等招聘网站为数据源,利用数据挖掘技术从能力要求、福利待遇、工作经验、薪资水平及企业地点分布等方面进行分析,研究结果可为高校人才培养和求职者能力构建及就业选择提供参考依据。
1.2.系统安装和环境配置
|
设备类别 |
软件类别 |
软件名称 |
|
服务端 |
竞赛系统运行操作系统 |
Centos7.0 |
|
客户端 |
桌面操作系统 |
Windows10 |
|
虚拟环境 |
Virtualbox 5.1 |
|
|
虚拟操作系统 |
Ubuntu 14.04 LTS |
|
|
大数据平台软件 |
Hadoop 2.7.1 |
|
|
开发语言 |
Python2.7.12 |
|
|
数据分析工具 |
Pandas 0.9.12 |
|
|
Python集成开发环境 |
pycharm-community-2016.3.2 |
|
|
浏览器 |
Chrome/firefox |
|
|
文档编辑器 |
Office 2007及以上版本 |
1.3. 用户的特点[可选]
2. 功能需求
2.1. 系统范围
2.2. 系统体系结构
系统总体架构图：
系统总体架构描述：
2.3. 系统总体流程
a) 环境部署：
一、 Hadoop 全分布部署
三、 Hadoop HA 部署
四、 Hive 组件部署
五、 Sqoop 组件部署
六、 Hbase 组件部署
七、 Flume 组件部署
八、 Spark 组件部署
九、 Kafka 组件部署
十、 Storm 组件安装部署
十一、 Zookeeper 集群部署
b) 数据采集：
数据采集将直接影响数据清洗、分析、可视化。
请使用企业生产环境常用采集工具和网络爬虫相关技术，完成网页分析、
数据采集、数据爬取，数据存储，并将采集数据进一步进行相关数据操作。
1、网站解析，利用 chrome 查看网页源码，分析招聘网站网页结构。
1）“检查”招聘网站，在网页中右键点击检查，或者 F12 快捷键,进入
如下图的查看元素页面；
（示例图 1）
2）检查网站：点击 Network、勾选 Preserve log、点击 Doc、点击清
理按钮、刷新页面、点击 Response，在 Response 查看所需内容。
（示例图 2）
2、从招聘网站中爬取需要数据，按照要求使用 Java 或 Python 语言编写并完
善爬虫代码，爬取指定数据项，有效数据项包括但不限于：所在城市、公
司名称、薪资、技能要求等多项字段。并将代码文件与代码截图保存。
具体步骤如下：
1）创建爬虫项目\H3CU_recruit\
2）构建爬虫请求
3）按要求定义相关字段
4）获取有效数据
5）将爬取到的数据保存到指定位置
3、至此已从招聘网站中爬取了所需数据，下一步我们要将爬取结果进一步进
行相关数据操作，请将操作命令截图并保存。
c) 数据清洗与计算：
本任务使用的招聘网站初始数据集来自于多个网站及平台，且为多次采集汇
总，因此数据集中不可避免地存在一些脏数据，即源数据不在给定的范围内或对
于实际业务毫无意义，或是数据格式非法，以及在源系统中存在不规范的编码和
含糊的业务逻辑。请分析数据集 recruit，根据要求实现数据清洗。
1、对于原始数据集字段缺失，可采用填充默认值、均值、众数、KNN 填充、
以及把缺失值作为新的 label 方式处理。当缺失信息较少时可采用删除的方式
进行处理。同时，不当的填充可能会令后续的分析结果出现导向性偏差，所
以需要对数据业务逻辑进行全面分析后，确定不合规数据处理方式。请根据
题目具体参数要求，处理招聘数据中的不合规数据，并存入指定数据表或数
据文件中，截图并保存结果。
2、本任务原始数据集中存在一些脏数据，即源数据不在给定的范围内或对于实
际业务毫无意义，或是数据格式非法，以及在源系统中存在不规范的编码和
含糊的业务逻辑数据。这些脏数据会影响后续的数据分析结果，所以需要对
脏数据进行预处理。请根据题目具体参数要求，处理工资字段不合规数据，
使该字段数据格式统一。将清洗后的数据存入指定数据表或数据文件中，截
图并保存结果。
3、本任务给定的数据集来自于多个网站及平台，且为多次采集汇总的数据，在
整合多来源数据时可能遇到时间、日期、数值、全半角等显示格式不一致的
问题，需要将其处理成一致的格式，以便于进行后续的数据分析。请根据题
目具体参数要求，将原始数据集中格式不一致的数据进行标准化处理，并存
入指定数据表或数据文件中，截图并保存结果。
4、若要将清洗后的数据存储到数据文件中，需要将数据的不同字段使用某种分
隔符分隔开后，再写入数据文件中。后续将数据文件再导入数据库时，同样
以该分隔符进行字段划分。请根据题目具体参数要求，将清洗后的数据以指
定数据分隔符进行分隔，存入指定数据文件中，再使用数据转移工具将数据
导入数据库中，截图并保存结果。
5、高校开设新专业、新方向时，要以企业相关岗位招聘数量作为重要依据。各
大招聘网站发布的招聘信息是主要的数据来源，进而能够统计某类岗位的招
聘数量。请根据题目具体参数要求，统计岗位招聘数量，并存入指定数据表
或数据文件中，截图并保存结果。
6、我们根据招聘网站数据通常能够了解相关岗位的招聘情况，包括但不限于地
区分布、学历要求、经验要求、薪资水平等。这些信息为高校专业设置提供
了分析依据和佐证数据。请根据题目具体参数要求，按要求统计相关职位招
聘信息，并存入指定数据表或数据文件中，截图并保存结果。
7、职业技能图谱描绘了各岗位从业人员的知识技能要求，能够帮助学生梳理知
识框架结构，提供学习路径指导，了解各知识点和技能点的重要程度。通过
招聘网站数据整理职业技能图谱，将有助于学校的专业课程设置，也可使学
生了解到岗位从业人员的知识技能要求。请根据题目具体参数要求，分析各
知识技能在某个招聘岗位能力需求中的占比情况，并存入指定数据表或数据
文件中，截图并保存结果。
8、根据近年某大型招聘网站发布的城市平均工资分布表显示，在全国各城市中，
最高的城市平均工资高达上万元，而最低的城市平均薪酬在 5000-6000 元
左右。工资薪酬是影响择业的很大一个因素，但一线城市的消费水平也同样
很高，房租、交通和伙食费等各方面都是一笔不小的开支。高校毕业生择业
需要根据各方面因素综合进行考量。请根据题目具体参数要求，统计各城市
指定招聘岗位的平均工资，并存入指定数据表或数据文件中，截图并保存结
果。
9、工作地区与招聘岗位是决定毕业生就业薪酬待遇的两个关键因素。不同地区
或不同岗位的工资待遇往往存在较大差异，这体现了地区行业发展和人才需
求的分布情况。请根据题目具体参数要求，统计指定城市和指定岗位的工资
待遇，并存入指定数据表或数据文件中，截图并保存结果。
d) 数据可视化
1、热门职业特指在以前没有引起大家关注的职业，因为经济环境的改变而现在
收入高或者工作环境好（抑或满足人们对职业的特殊偏好）的行业。随着信
息技术的不断发展，云计算、大数据、人工智能都成为了热门职业方向，为
了了解热门职业中对各岗位招聘人数的数量，请根据指定表中数据，统计出
招聘数量最多的前几位的热门职业，通过指定图例进行呈现。
2、大数据公司内部包含有许多的岗位，例如 JAVA 开发工程师、大数据架构师、
大数据开发工程师、大数据清洗工程师、大数据分析师等，不同岗位对于从
业人员学历、经验、薪资等都有一定的要求，请根据指定表中数据，统计出
各个岗位中相关招聘职位的数量，通过指定图例进行呈现。
3、大数据产业作为一个新兴信息产业，对从业人员的知识面要求较高，会涉及
到数学、统计、编程、系统部署等多方面知识储备，这些知识内容又会对应
成为一个个的技能点，将这些技能点进行汇总形成大数据岗位的职业技能要
求，是学生今后主要提升的技能点之一。请根据指定表中的数据，分析各知
识技能在某个招聘岗位能力需求中的占比情况，通过指定图例进行呈现。
4、大数据产业作为一个新兴信息产业，各地大数据产业都在蓬勃发展中，对于
大数据人才的需求也在不断的增加，但是由于人才的相对紧缺，导致大数据
产业的整个工资待遇水平较同行业也具备一定的优势，请根据指定表中的数
据，统计出全国某些城市指定招聘岗位平均工资，通过指定图例进行呈现。
5、近些年大数据产业在全国大幅发展，各个公司对于大数据人员的招聘数量也
在不断增加，通过大数据相关职位的招聘数量可以从一定程度看出行业内人
员流动情况，请根据指定表中的数据，统计出近几年指定职位招聘数量汇总，
通过指定图例进行呈现。
e) 综合分析
通过任务二的网站分析及数据爬取、任务三的数据清洗与分析及任务四的
可视化呈现，我们已经清晰的了解了招聘业务背景及相关招聘数据，在综合理
解招聘业务数据的基础上，根据题目要求进行分析，并编写输出分析报告。
注：分析结果需要具有任务中结论作为佐证材料。
2.4. 数据库设计
a) E-R图
…………….
b) 数据字典
…………
2.5.工作量估算
|
模块 |
工作量 |
|
|
环境部署 |
完成所需环境部署 |
10 |
|
数据采集 |
创建爬虫项目 |
2 |
|
构建爬虫请求 |
2 |
|
|
按要求定义相关字段 |
2 |
|
|
获取有效数据 |
2 |
|
|
将爬取到的数据保存到指定位置 |
2 |
|
|
数据清洗与计算 |
原始数据集字段缺失 |
1 |
|
原始数据集脏数据处理 |
2 |
|
|
对格式不一致的数据进行标准化处理 |
1 |
|
|
数据分隔并导入数据库 |
1 |
|
|
统计岗位招聘数量 |
1 |
|
|
统计相关职位招聘信息 |
1 |
|
|
分析各知识技能在某个招聘岗位能力需求中的占比情况 |
1 |
|
|
统计各城市指定招聘岗位的平均工资 |
1 |
|
|
统计指定城市和指定岗位的工资待遇 |
1 |
|
|
数据分析及可视化 |
统计出 招聘数量最多的前几位的热门职业，通过指定图例进行呈现
|
2 |
|
统计出 各个岗位中相关招聘职位的数量，通过指定图例进行呈现
|
2 |
|
|
分析各知 识技能在某个招聘岗位能力需求中的占比情况，通过指定图例进行呈现
|
2 |
|
|
统计出全国某些城市指定招聘岗位平均工资，通过指定图例进行呈现
|
2 |
|
|
统计出近几年指定职位招聘数量汇总， 通过指定图例进行呈现
|
2 |
|
|
生成分析报告 |
编写输出分析报告 |
5 |
