您现在的位置是:首页 > 正文

深度学习中的batch的大小对学习效果有何影响?

2024-02-01 05:24:54阅读 2

推荐阅读:

[1] 深度学习中的batch的大小对学习效果有何影响? - 言有三的回答 - 知乎

[2] 深度学习中的batch的大小对学习效果有何影响? - 程引的回答 - 知乎

[3] batch size 越大,学习率也要越大

小结:

优点 缺点
batch_size 较大 训练时间减少,收敛更加稳定 每个epoch更新次数变小,模型达到相同的精度需要的epoch数量
batch_size 较小 给梯度下降过程带来更大的随机性,有助于逃离 sharp minimum,使得模型收敛后泛化性能更好 太小可能导致模型收敛太慢甚至无法收敛;训练时间增大

调参指南:

1、学习率固定时,尽量尝试较小的 batch_size 以获得更好的泛化性能,但前提是要确保模型收敛以及训练时间不会太长以至于难以接受。

2、当我们增加 batch_size 为原来的 N N N 倍时,将学习率增大为原来的 N \sqrt N N 倍可以保持梯度的方差不变,但实践表明学习率增加为原来的 N N N 倍效果更好 [ 3 ] ^{[3]} [3]

网站文章

  • js 数字加减乘除精度问题,解决小数点后多位小数

    在javascript中,当你使用小数进行加减乘除运算时,你会发现,所得到的结果有时后面带有长长的一段小数,使运算变得复杂,并且影响计算结果。上网查询了一下原因,大致如下:在javascript中,带...

    2024-02-01 05:24:49
  • php+websocket实现在线聊天室(一)

    php+websocket实现在线聊天室(一)

    聊天室最终实现版:https://www.sinight.site/chatroom 可以自己多开几个窗口体验 前言:WebSocket是HTML5开始提供的一种在单个 TCP 连接上进行全双工通讯的协议。 在WebSocket API中,浏览器和服务器只需要做一个握手的动作,然后,浏览器和服务器之间就形成了一条快速通道。两者之间就直接可以数据互相传送。 浏览器通过 Java...

    2024-02-01 05:24:42
  • Mac上安装Grafana

    Mac上安装Grafana

    Mac上安装Grafana一、背景二、安装步骤1、通过 Home Brew 安装2、通过二进制包进行安装1、下载2、grafana配置文件的路径3、修改grafana配置1、修改默认的3000端口2、...

    2024-02-01 05:24:14
  • Table列表筛选结果保持不变

    Table列表筛选结果保持不变,详解React中setState回调函数

    2024-02-01 05:24:07
  • centos和Ubuntu在线安装docker、docker-compose

    centos和Ubuntu在线安装docker、docker-compose

    然后设置全局Docker容器日志大小,并修改docker的存储目录,在/etc/docker目录创建daemon.json文件,然后写入以下内容,最后重启docker和系统加载文件。然后设置全局Doc...

    2024-02-01 05:24:01
  • Java制作简单的单选和多选测试题

    Java制作简单的单选和多选测试题 题目: 定义考题类(Question)及其子类 完成考题类(Question),单选题(SingleChoice)和多选题(MultiChoice)是其子类 要求:...

    2024-02-01 05:23:31
  • pmm最新版本v2.40.0尝鲜体验

    pmm最新版本v2.40.0尝鲜体验

    让DBA快速初窥pmm v2.40.0

    2024-02-01 05:23:24
  • web安全第九天:服务器端请求伪造漏洞SSRF

    web安全第九天:服务器端请求伪造漏洞SSRF

    web安全第十天:服务器端请求伪造漏洞SSRF

    2024-02-01 05:23:15
  • 初学kafka命令(topics)

    创建kafka topicbin/kafka-topics.sh --create --topic topicname --replication-factor 1 --partitions 1 --zookeeper localhost:2181查询topic,进入kafka目录:bin/kafka-topics.sh --list --zookeeper localhost:2181查...

    2024-02-01 05:23:08
  • 【C语言】——打印杨辉三角(递归)

    【C语言】——打印杨辉三角(递归)

    觉得我分享的文章不错的话,可以关注一下哦,嘻嘻嘻🌞🌞

    2024-02-01 05:22:40