机器学习-02-机器学习算法分类以及在各行各业的应用

时间:2024-04-17 19:43:23

总结

本系列是机器学习课程的第02篇,主要介绍机器学习算法分类以及在各行各业的应用

本门课程的目标

完成一个特定行业的算法应用全过程:
在这里插入图片描述
定义问题(Problem Definition) -> 数据收集(Data Collection) -> 数据分割(Dataset Spit up) -> 模型训练(Model Training) -> 模型评估(Model Evaluation) -> 应用部署(System Deployment) -> 改变世界(Impact the world)!

作者:adi0229
链接:「ML笔记」- 机器学习生命周期(Machine Learning Lifecycle)

懂业务+会选择合适的算法+数据处理+算法训练+算法调优+算法融合
+算法评估+持续调优+工程化接口实现

机器学习算法分类

机器学习的任务将其分为预测和描述两大类。机器学习的任务主要集中在回归、分类、预测、关联、聚类、异常检测六个方面,前三个属于预测性任务,后三个属于描述性任务。

预测任务的目标是根据自变量属性的值,预测因变量属性的值,用来做预测的属性称为自变量(independent variable)或是特征(features),被预测的属性值称为因变量(dependent variable)或是标签(label)。

描述任务的目标是导出概括数据中潜在联系的模式(关联、趋势、聚类、轨迹和异常),本质上,描述性的任务大都是探查性的,并且对导出的模式进行技术验证和解释结果。

类/概念描述:特征和区分

类/概念描述就是通过对某类对象的关联数据进行处理、汇总和分析,概括这类对象的属性特征,再用精简的的方式对此类对象的内涵进行描述。
类/概念描述分为特征性描述和区别性描述两种。

特征性描述是指从某类对象关联的数据中提取出这类对象的共同特征(属性)。比如某商场数据库中的商品销售情况,对于商品的销售数据,共同的特征可以包括销售地点,商品名称,销售额度,销售数量等,对应商品类的数据,都具有以上所述的四个属性(特征),将特征性描述进行输出得到下图1-4表格的形式,也可以输出为图表的形式,参考图1-5。
在这里插入图片描述

区别性描述:
在这里插入图片描述

回归(regression)

常见的回归算法包括:

线性回归
在这里插入图片描述
一元线性回归博客讲解

逻辑回归(逻辑回归实际上做的是分类的任务)
在这里插入图片描述

多项式回归
逐步回归
岭回归
Lasso回归
ElasticNet回归

分类(classification)

常见的分类算法包括:逻辑回归(尽管是回归的算法但实际上是完成分类的问题),决策树(包括ID3算法、C4.5算法和CART算法)、神经网络、贝叶斯、K-近邻算法、支持向量机(SVM)等。

这些分类算法适合的使用场景并不完全一致,需要根据实际的应用评价才能选对适合的算法模型。
分类算法的常见应用包括:决策树方法在医学诊断、贷款风险评估等领域应用;神经网络在识别手写字符、语音识别和人脸识别等应用,贝叶斯在垃圾邮件过滤、文本拼写纠正方向的应用等。

预测(forecasting)

预测是在基于历史数据采用某种数学模型来预测未来的一种算法,即以现有数据为基础,对未来的数据进行预测。预测可以发现客观事物运行规律,预见到未来可能出现的情况,提出各种可以互相替代的发展方案,这样就为人们的决策制定提供了科学依据。

预测算法可以分为定性预测和定量预测。定量预测可分为时间序列分析和因果关系分析两类,其中常用的
时间序列分析法有移动平均(ARIMA)、指数平滑等,
因果关系分析法有回归方法、计量经济模型、神经网络预测法、灰色预测法、马尔科夫预测法等。

关联分析(association)

在这里插入图片描述

Apriori算法:
在这里插入图片描述

聚类分析(cluster)

在这里插入图片描述
在这里插入图片描述

在线聚类演示

异常检测(anomalydetection)

在这里插入图片描述

信用卡欺诈行为检测

迁移学习

在这里插入图片描述
在这里插入图片描述

强化学习 (Reinforcement Learning, RL)

强化学习。
在这里插入图片描述

机器学习的应用领域

电子商务

在这里插入图片描述
抖音电商算法深度解析,讲透权重&流量分配原理

金融领域

在这里插入图片描述

医疗领域

在这里插入图片描述
机器学习遇见生物学:详解蛋白质折叠预测中的算法
在这里插入图片描述

通信领域

在这里插入图片描述

自然语言处理

在这里插入图片描述

在这里插入图片描述

工业领域

机器替人大势所趋,凌云光:以软件算法为基,实现机器视觉全布局
在这里插入图片描述

5秒即检 | 凌云光智能外观质量仲裁仪全新亮相
在这里插入图片描述

LLM大模型技术

llm大语言模型知识总结与资源汇总

【OpenAI官方发布】32个sora视频全集+提示词中文版

Sora惊艳登场 人工智能越逼真人类越惊心

AkinokoeTA的合集和视频列表合集·AI大模型 LLMs 资讯

确定方向过程

针对完全没有基础的同学们
1.确定机器学习的应用领域有哪些
2.查找机器学习的算法应用有哪些
3.确定想要研究的领域极其对应的算法
4.通过招聘网站和论文等确定具体的技术
5.了解业务流程,查找数据
6.复现经典算法
7.持续优化,并尝试与对应企业人员沟通心得
8.企业给出反馈