Github 上有趣的项目，用机器学习训练 AI 下五子棋
谷歌旗下人工智能公司 DeepMind 发布了一篇新论文，它讲述了团队如何利用 AlphaGo 的机器学习系统，构建了新的项目 AlphaZero。AlphaZero 使用了名为「强化学习」（reinforcement learning）的 AI 技术，它只使用了基本规则，没有人的经验，从零开始训练...
使用deepspeed，transformers，safetensor中常见的训练精度，共享权重问题
使用deepspeed可能需要注意精度问题 混合精度，LayerNorm 虽然deepspeed有混合精度训练的功能，但是对于网络上各种奇奇怪怪的代码的DIY转化中，他还是很弱小的。它的精度问题，使用deepspeed如果模型中有部分模型使用的是half精度，那么整个模型都会使用half精度，即使...
win10训练faster RCNN:报错No module named ‘lib.utils.cython_bbox’
源码地址：https://github.com/dBeker/Faster-RCNN-TensorFlow-Python3解决流程修改Faster-RCNN-TensorFlow-Python3\data/coco/PythonAPI/setup.py文件：在第15行加上, Extension...
【机器学习300问】60、图像分类任务中，训练数据不足会带来什么问题？如何缓解图像数据不足带来的问题？
在机器学习中，绝大部分模型都需要大量的数据进行训练和学习（包括有监督学习和无监督学习），然而在实际应用中经常会遇到训练数据不足的问题。就比如图像分类这样的计算机视觉任务，确实依赖于大规模且多样化的训练数据以确保模型能够有效地泛化到未见过的实例上。然而，实践中遭遇训练数据不足是很常见的...
训练神经网络时batch_size设置大小参考。
前言：在对神经网络进行训练时，大家经常会遇到一个超参数：batch_size那么，batch_size究竟是什么，又该如何最优的设置这个值呢？batch_size个人理解：将所训练的样本数量分为多少个为一组。这个值的大小与梯度下降的效率和结果直接相关。假设训练样本共m个，你设置batch_size为...
win7+cpu+caffe+fcn+vgg16+训练voc数据集
一、 前言这篇博客的主要内容是基于caffe的框架，利用全卷积神经网络（FCN）训练voc数据集。很多人刚接触FCN的时候很着急的想要制作并训练自己的数据集，我只想说路要一步一步走，先训练网上的数据集，一方面可以熟悉FCN构造和参数，一方面可以测试一下你电脑的性能。由于我的电脑配置太低了，这里我使用...
PCIe链路训练(Link Training) Debug案例解析
Issue背景描述：Xilinx两块开发版PCIe link up时间相差很大，Virtex-6开发版PCIe link up时间超过60ms，而Virtex-7 PCIe link up时间只有~25ms.分析过程：1. 对比Virtex-6和Virtex-7两块开发板上电过程的LTSSM状态机。...
Faster-RCNN训练时遇到的问题
第一次写博客，没想太多。只是想记录一下训练Faster-rcnn是遇见的一些问题。因为在我训练出bug的时候有点绝望，怀疑人生。不过在看到开始训练的一瞬间又觉得活着挺好的。 1.环境搭建 rbg大神很周到，需要的东西全都有（从硬件的要求，到需要的各种model） Faster-rcnn：ht...
faster-rcnn的训练流程及其如何训练自己的数据集(三)
到这篇为止，关于faster rcnn已经解读一大半了。OK！！！上一篇讲到anchor_target _layer()知道了该层函数的目的就是为每个位置的9个anchors生成表示正负样本的标签和回归的目标值，以及权重，提供给RPN进行训练。*reshape_layeranchor_target_...
使用tensorflow object detection API 训练自己的目标检测模型 （一）labelImg的安装配置过程
上一篇博客介绍了goggle的tensorflow object detection API 的配置和使用， 这次介绍一下如何用这个API训练一个私人定制的目标检测模型。第一步：准备自己的数据集。比如我要检测车牌。首先用到的是labelImg软件：先简要介绍一下labelimg安装的步骤。下载lab...
yolo v3在训练过程中参数解析
batch:每轮迭代随机选取的样本数量subdivision:为了减少显存压力，将每个batch分为subdivision组，意味着将一轮迭代中，分subdivision次将图片输入网络进行训练，（即每次送入网络batch/subdivision张图片）9798： 指示当前训练的迭代次数0.3700...
基于Tensorflow用Yolov3训练自己的数据集
背景说明：本次训练的模型分五类，分别为['whiteboard','chair','diningtable','sofa','tvmonitor']。训练数据集大约1000张。环境：Window 10 系统，python=3.6，tensorflow=1.15 一、数据准备1.用Labelimg标注...
转载：实用教程！使用YOLOv3训练自己数据的目标检测
实用教程！使用YOLOv3训练自己数据的目标检测52CV君 我爱计算机视觉 今天点击我爱计算机视觉标星，更快获取CVML新技术 YOLOv3是当前计算机视觉中最为流行的实时目标检测算法之一。 昨天LearnOpenCV网站博主又发福利，post了一个清晰明了的教程，一步一步示例，如何使用快速实时的...
yolov3环境搭建，训练模型
1、官网下载coco数据集（使用json格式标注图片）：http://cocodataset.org/#download2、coco API下载(可将coco数据集解析成voc数据集格式，实际上使用darknet可以直接实现数据集解析)命令行git下载coco API:git clone https...
基于Windows系统进行Yolov3训练模型遇到：“CUDA Error: out of memory”的解决方案
基于Windows系统进行Yolov3训练模型遇到：“CUDA Error: out of memory”的解决方案 遇到问题：CUDA Error: out of memory 原因：爆显存 Hhhhhha ！！！ 解决方案：更改训练所使用的CFG(.cfg)文件参数 （本人使用的是：yolo...
Faster-Rcnn在windows下制作并训练自己的数据集
1.制作自己的数据集：（仿VOC2007数据集）在文件夹 “faster_rcnn-master\制作自己的数据集” 下操作<步骤>： ①图片批量重命名 ②手动框定目标，生成txt文件，包括：图片名，类别标签，左上角坐标，右下角坐标（有时候也可能是左下角，右上角） ③制作xml文件...
如何使用tensorboardX保存以及可视化训练过程数据
保存数据：在代码中：首先实例化一个SummaryWriterimport tensorboardX as tbwriter = tb.SummaryWriter(log_dir=tb_path)然后将需要保存的数据以键-值的方式保存在writer中：writer.add_scalar(key, va...
YOLOV3从训练、测试到批量保存测试结果
本文从假设你已经有一个图像数据集和xml标签数据集了。然后从VOC2007数据集的制作开始说。数据整理方法---训练方法-----利用训练日志绘制Loss\IOU等曲线的方法------测试方法---------批量测试方法 数据整理方法：（假设你只想要其中某些类，就要用程序剔除不要的标签、然后删除...
pytorch训练过程中loss出现NaN的原因及可采取的方法
在pytorch训练过程中出现loss=nan的情况1.学习率太高。2.loss函数3.对于回归问题，可能出现了除0 的计算，加一个很小的余项可能可以解决4.数据本身，是否存在Nan，可以用numpy.any(numpy.isnan(x))检查一下input和target5.target本身应该是能...
YOLO V3 Win10环境如何在之前训练的weights上继续训练模型
YOLO V3如何在之前的训练权重上继续训练模型（Win10）最近在用darknet YOLO V3 训练自己的数据集，有时会涉及到在训练集中新加入图片，再继续训练。很多资料都是关于Ubuntu环境的，Win10环境继续训练模型代码(Dos命令) 如下：darknet.exe detector tr...