文件名称：大数据技术基础知识.pdf
文件大小：143KB
文件格式：PDF
更新时间：2022-12-24 14:52:58
文档资料
⼤数据技术基础知识 ⼀、⼤数据技术 1、试述数据产⽣⽅式经历的⼏个阶段。 运营式系统阶段：在这个阶段，数据的产⽣⽅式是被动的，只有当实际企业业务发⽣时，才会产⽣新的记录并存⼊数据库。 ⽤户原创内容阶段：互联⽹真正的数据爆发。强调⾃服务，⼤量上⽹⽤户本⾝就是内容的⽣成者，数据量开始急剧增加。 感知式系统阶段：原因：物联⽹的发展，物联⽹的⼀些传感设备，每时每刻在产⽣⼤量数据，物联⽹中的⾃动数据产⽣⽅式，在短时间内⽣ 成更密集、更⼤量的数据，使⼈类社会迅速步⼊"⼤数据时代"。 2、试述⼤数据的4个基本特征。 数据量⼤：数据以⾃然⽅式增长，其产⽣不以⼈的意志为转移。各种数据产⽣速度快，产⽣数量⼤，远远超出⼈类可控的范围。 数据类型繁多：⼤数据数据类型丰富,包括结构化数据和⾮结构化数据。 处理速度快：⼤数据时代的数据产⽣速度⾮常迅速。 价值密度低：价值密度远远低于传统关系数据库中已有的那些数据。很多有价值信息都分散在海量数据中。 3、试述⼤数据对思维⽅式的重要影响。 思维⽅式的3种转变:全样⽽⾮抽样、效率⽽⾮精确、相关⽽⾮因果 1)全样⽽⾮抽样：过去，由于数据存储和处理能⼒的限制，在科学分析中，通常采⽤抽样的⽅法，通过对样本数据的分析来推断全集数据的 总体特征。现在有⼤数据技术的⽀持，科学分析可以直接针对全集数据，并且可以在短时间内迅速得到分析结果，速度之快。 2)效率⽽⾮精确：过去，采⽤抽样分析⽅法，误差会被放⼤，为了保证误差被放⼤到全集数据时仍然处于可以接受的范围，需确保抽样分析 结果的精确性。其次才提⾼算法效率。现在，⼤数据时代采⽤全样分析⽽不是抽样分析，不存在误差被放⼤的问题。数据分析的效率成为关 注的核⼼。 3)相关⽽⾮因果：过去，数据分析的⽬的，解释事物背后的发展机理和⽤于预测未来可能发⽣的事件，都反映了⼀种"因果关系"。在⼤数 据时代⼈们转⽽追求"相关性"⽽⾮"因果性"。 4、举例说明⼤数据的具体应⽤ 制造业:利⽤⼯业⼤数据提升制造业⽔平，如产品故降诊断与预测、分析⼯艺流程、改进⽣产⼯艺、优化⽣产过程能耗、⼯业供应链分析与优 化等 ⾦融：⼤数据在⾼频交易、社交情绪分析和信贷风险分析三⼤⾦融创新领域发挥重要作⽤ 汽车：利⽤⼤数据和物联⽹技术实现⽆⼈驾驶汽车 互联⽹：借助⼤数据技术，分析客户⾏为，进⾏商品推荐和有针对性⼴告投放 餐饮：利⽤⼤数据实现餐饮o2o模式，彻底改变传统餐饮经营⽅式 电信：利⽤⼤数据技术实现客户离⽹分析，及时掌握客户离⽹倾向，出台客户挽留措施 能源：利⽤⼤数据技术分析⽤户⽤电模式，改进电⽹运⾏，合理设计电⼒需求响应系统，确保电⽹运⾏安全 物流：利⽤⼤数据优化物流⽹络，提⾼物流效率，降低物流成本 城市管理：利⽤⼤数据实现智能交通、环保监测、城市规划和智能安防 ⽣物医学：通过⼤数据实现流⾏病预测、智慧医疗、健康管理，解读DNA等 体育与娱乐：通过⼤数据训练球队，预测⽐赛结果，分析投拍哪种题材影视作品 安全领域：*利⽤⼤数据技术构建强⼤的国家安全保障体系，企业利⽤⼤数据抵御⽹络攻击，警察借助⼤数据来预防犯罪 个⼈⽣活：通过⼤数据分析个⼈⽣活⾏为习惯，提供更加周到的个性化服务 举例说明⼤数据的关键性技术 数据采集与预处理：利⽤ETL⼯具将分布在异构数据源中的数据，抽取到临时中间层后进⾏清洗、转换、集成，最后加载到数据仓库或数据 集市中，成为联机分析处理、数据挖掘的基础；利⽤⽇志采集⼯具把实时采集的数据作为流计算系统的输⼈，进⾏实时处理分析 数据存储和管理：利⽤分布式⽂件系统、数据仓库、关系数据库、NoSQL 数据库、云数据库等，实现对结构化、半结构化和⾮结构化海量 数据的存储和管理 数据处理与分析：利⽤分布式并⾏编程模型和计算框架，结合机器学习和数据挖掘算法，实现对海量数据的处理和分析；对分析结果进⾏可 视化呈现，帮助⼈们更好地理解数据、分析数据 数据安全和隐私保护：在从⼤数据中挖掘潜在的巨⼤商业价值和学术价值的同时,构建数据安全体系和隐私数据保护体系，有效保护数据安全 和个⼈隐私