机器学习入门基础

时间:2021-05-05 20:02:55

什么是人工智能?  

百度百科:人工智能( Artificial Intelligence),英文缩写为
AI。它是研究使计算机来模拟人的某些思维过程和智能
行为(如学习、推理、思考、规划等)的学科,主要包
括计算机实现智能的原理、制造类似于人脑智能的计算
机,使计算机能实现更高层次的应用。人工智能将涉及
到计算机科学、心理学、哲学和语言学等学科。

人工智能的战略意义: 在生产制造业,人工智能技术可以极大地提高生产效率,节省劳动成本,提升产
品质量;在服务业,可以优化行业现有产品和服务,提升其质量和劳动生产率;此外,金融、医疗等领域,

强人工智能与弱人工智能:
强人工智能观点: 有可能制造出真正能推理(Reasoning)和解决问题(Problem_solving)的智能机器,并且,这样的机器能将被认为是有知
觉的,有自我意识的。可以独立思考问题并制定解决问题的最优方案,
有自己的价值观和世界观体系。有和生物一样的各种本能,比如生存和
安全需求。
强人工智能可以有两类:

( 1)类人的人工智能,即机器的思考和推理就像人的思维一样。
( 2)非类人的人工智能,即机器产生了和人完全不一样的知觉和意识,
使用和人完全不一样的推理方式。
弱人工智能是能制造出真正地推理( Reasoning)和解决问题( Problem_solving)
的智能机器,这些机器只不过看起来像是智能的,但是并不真正拥有智能,也不
会有自主意识。 “像人一样思考”、 “像人一样行动”、 “理性地思考”和“理性地行动”。

人工智能应用领域

人工智能已应用于以下领域:机器视觉,指纹识别,人脸识别,视网膜识别,
虹膜识别,掌纹识别,专家系统,自动规划,智能搜索,定理证明,博弈,
自动程序设计,智能控制,机器人学,语言和图像理解,遗传编程等
博弈论,控制论,逻辑学

智能、机器学习和深度学习 的区别与联系

一、什么是机器学习

1、概念:英文名称Machine Learning(简称ML)的直译。机
器学习是一种让计算机利用数据而不是指令来进行各种工作的
方法。
2、理解:星期五约会问题。小Y不那么守时,
最常见的表现是平时约会5次迟到1次,星期五
约会5次迟到4次。当有一次跟他约好3点钟在
某个麦当劳见面时,在我出门的那一刻我突然
想到一个问题:我现在出发合适么?我会不会
又到了地点后,花上30分钟去等他?采取一个
策略解决这个问题。
解决方案:( 1) 经验法:把过往跟小Y相约的经历在脑海中重现一下,看看跟
他相约的次数中,迟到占了多大的比例。假设心中最大能容忍70%的比例。
回忆结果如下:
➢ 跟小Y约过5次,迟到1次,那么按时到的比例为80%——结论:该数字大于
70%,因此我按时出门。
➢ 跟小Y约过5次,迟到4次,那么按时到达的比例为20%——结论:由于这个值
低于70%,因此我选择推迟出门的时间
解决方案:( 2)利用机器学习算法解决:
机器学习算法考虑两个量:一个是因变量,也就是希望预测的结果,在这个例子
里就是小Y迟到与否的判断。另一个是自变量,也就是用来预测小Y是否迟到的量。
由于平时不大迟到,周五迟到机率大,故把时间星期五作为自变量。

机器学习方法是计算机利用已有的数据(经验),得出了某种模型(迟
到的规律),并利用此模型预测未来(是否迟到)的一种方法。
从广义上来说,机器学习是一种能够赋予机器学习的能力以此让它完成
直接编程无法完成的功能的方法。但从实践的意义上来说,机器学习是
一种通过利用数据,训练出模型,然后使用模型预测的一种方法。

二、机器学习与人工智能

机器学习: 一种实现人工智能的方法,负责预测
人工智能: 负责行为
假设正在建造一辆无人驾驶车,现在卡在了停车标志这个具体问题上面。
•机器学习: 汽车必须通过摄像头识别停车标志。我们构建了数以百万计的
街边物体照片数据集,并训练算法来预测哪些街边是有停车标志。
•人工智能: 一旦汽车能够识别停车标志,它就需要决定何时采取刹车动作。
我们需要它能够根据不同的路况进行判断(例如,在湿滑的路面上要能知道
不能刹车刹的太快),太早或太晚都是有危险的,这属于控制理论的范畴

三、深度学习

深度学习:一种实现机器学习的技术
传统的机器学习算法在指纹识别、基于Haar的人脸检测、基于HoG特征
的物体检测等领域的应用基本达到了商业化的要求或者特定场景的商业化水平,
但每前进一步都异常艰难,直到深度学习算法的出现。深度学习摧枯拉朽般地
实现了各种任务,使得似乎所有的机器辅助功能都变为可能。

四、 AI、 DL及ML区别及联系

机器学习入门基础
人工智能研究的各个分支,包括专家系统、机器学习、进化计算、模糊逻辑、
计算机视觉、自然语言处理、推荐系统等
机器学习入门基础
机器学习是一种实现人工智能的方法,
深度学习是一种实现机器学习的技术。
我们就用最简单的方法——同心圆,可视化地展现出它们三者的关系。
机器学习入门基础

五、 DL会代替ML吗?

深度学习,作为目前最热的机器学习方法,但并不意味着是机器学习的终点。起码
目前存在以下问题:
1. 深度学习模型需要大量的训练数据,才能展现出神奇的效果,但现实生活中往
往会遇到小样本问题,此时深度学习方法无法入手,传统的机器学习方法就可以处
理;
2. 有些领域,采用传统的简单的机器学习方法,可以很好地解决了,没必要非得
用复杂的深度学习方法;
3. 深度学习的思想,来源于人脑的启发,但绝不是人脑的模拟,举个例子,给一
个三四岁的小孩看一辆自行车之后,再见到哪怕外观完全不同的自行车,小孩也十
有八九能做出那是一辆自行车的判断,也就是说,人类的学习过程往往不需要大规
模的训练数据,而现在的深度学习方法显然不是对人脑的模拟。

六、AI与数据分析、大数据关系

1、大数据与人工智能的关系:
总的来说:大数据为人工智能的发展提供了必要条件
例如:大数据和人工智能的关系就像大海和鲸的关系,小河沟里养不了鲸
  谷歌的围棋程序 Alphago 已经达到了人类围棋选手无法达到的境界,这是因为 Alphago 在不断进行学习。 Alphago不但从人类专业选手以往的数百万份棋谱中学习,还可以从自己和自己的对弈棋谱中学习,这些都是 Alphago 赖以学习提高的大数据。
  抓通缉犯:计算机可以通过预先学习成干上万张人脸图片,掌握认识和分辨人脸的基本规律。然后,计算机可以记住全国所有通缉犯的长相。这样一来,全国的安防系统只要接入了这套会识别通缉犯相貌的计算机程序,通缉犯在公共场合一露面,计算机就可以通过监控摄像头采集的图像将通缉犯辨认出来。
2、大数据分析与人工智能的关系:
大数据分析依靠机器学习和大规模计算,对规模巨大的数据进行分析。

机器学习入门进阶

一、什么是数据挖掘?

数据挖掘——百度百科上指的是从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关,并通过统计、在线分析处理、情报检索、机器学习、专家系统(依靠过去的经验法则)和模式识别等诸多方法来实现上述目标 。
数据挖掘——从大量数据中发现潜在的有价值的知识的过程

二、数据挖掘和机器学习的关系

机器学习入门基础
数据挖掘和机器学习是一门交叉学科, 可以简单的理解为: 数据挖掘=机器学习+数据库+统
计学

三、数据挖掘最常见的六大任务

  1. 分类问题( Classification)训练数据有标注,输出是0 1
  2. 聚类问题( Clustering) 训练的没有标注
  3. 回归问题( Regression) 输出是实数,
  4. 关联问题( Association)
  5. 序列问题( Sequence)
  6. 异常检测问题( Outlier Detection)

1、 分类问题( Classification)
从训练样本中学习,构建一个函数(分类器),对样本的所属类别进行判别
机器学习入门基础
2、 聚类问题( Clustering) ——从数据中探索样本之间的相似性,把特征相似的样本
聚为一类,是一种无目标的探索性分析(对于聚类的结果,需要在聚类完成后进行解
读)
机器学习入门基础
3、 回归问题( Regression) ——从训练样本中学习,构建一个函数,对样本的目标变量进行估值
机器学习入门基础
4、 关联问题( Association) ——从交易型数据中发现频繁关联出现的Item(商品),又称为购物篮分析
机器学习入门基础
5、 序列问题( Sequence) ——从顺序型数据中发现序列模式,例如9个月前买了PC的用
户,下一个月可能会买一根内存
机器学习入门基础
6、 异常检测问题( Outlier Detection) ——检测样本取值是否显著偏离常规,发现有意义的孤立点和异常值
机器学习入门基础

四、 CRISP-DM:跨行业数据挖掘标准流程

机器学习入门基础
各环节的任务与目标
机器学习入门基础

五、企业中真实的数据挖掘和应用流程

机器学习入门基础
1、数据仓库中的星型模型设计
机器学习入门基础
2、 OLAP的基本概念和技术
• OLAP(联机分析处理)和OLTP(联机事务处理)是一个明显区分的概念
• OLAP的核心概念是:维度( dimension)和度量( measurement)
• OLAP的基本操作:钻取,切片,旋转,穿透等
• OLAP的实现方式: ROLAP, MOLAP
简单理解: OLAP=多维度分析报表=Excel数据透视表
机器学习入门基础

六、数据挖掘和机器学习的典型应用

• 精准营销
• 推荐系统
• 精准广告
• 风险管理
• 图像识别
• 文本挖掘

精准营销案例: Target百货精准预测出孕妇
  一位父亲很生气找到当地塔吉特超市,要求面见超市负责人。后面超市负责市场的负责人跟这位父亲见了面,这位父亲告诉他:超市给他上高中的女儿发送孕期用品的广告。当时超市的工作人员也认为可能搞错了,打招呼让这位父亲回去了。过了一个礼拜,超市方面再次联系上这位父亲,这位父亲的态度180度大转弯,他的女儿确实怀孕了
  
推荐案例:亚马逊购物网站的商品推荐
精准广告: RTB(实时竞价广告)原理
风险管理案例:芝麻信用
图像识别案例:人脸识别
自然语言处理案例:文本挖掘