深度学习入门 -- 权重初始值的优化

深度学习入门 – 权重初始值的优化在神经网络的学习中，权重的初始值特别重要，它经常关系到神经网络的学习能否成功。 权重初始值的优化有三个要点（结论）： 权重初始值必须是随机生成的。 当激活函数使用sigmoid或tanh函数(正切函数)等 S 型曲线函数时，初始值使用Xavier初始值。 当激活函数使用ReLU时，权重初始值使用He初始值。 随机生成的权重初始值就像这样： 10.01 * np

数据库设计和E-R模型

数据库设计和E-R模型设计过程概览 设计数据库模式 设计访问和更新数据的程序 设计控制数据访问的安全模式 实体 联系模型 E-R model三个基本概念 实体集 联系集 属性 实体集每个实体有一组性质，其中的一些可以唯一标识一个实体。比如身份证号值 联系集eg: 二元联系集：涉及两个实体集的联系集。 属性实体集的属性是 将实体集映射到域的函数。每个实体可以用一组(属性，数据值)的key对来表

《激荡的三十年：中国企业 1978—2008》(上) 读书摘要

激荡三十年：中国企业 1978—2008（十年典藏版·上）吴晓波◆ 题记 当这个时代到来的时候，锐不可当。万物肆意生长，尘埃与曙光升腾，江河汇聚成川，无名山丘崛起为峰，天地一时，无比开阔。 二 他们出身草莽，不无野蛮，性情漂移，坚忍而勇于博取。他们的浅薄使得他们处理任何商业问题都能够用最简洁的办法直指核心，他们的冷酷使得他们能够拨去一切道德的含情脉脉而回到利益关系的基本面，他们的不畏天命

优化（ optimization）和泛化 （generalization）——减少过拟合和欠拟合

优化（ optimization）和泛化 （generalization）——减少过拟合和欠拟合基本原则 机器学习的根本问题是优化和泛化之间的对立。 优化（ optimization）是指调节模型以在训练数据上得到最佳性能（即机器学习中的学习）而泛化（ generalization）是指训练好的模型在前所未见的数据上的性能好坏。机器学习的目的当然是得到良好的泛化，但你无法控制泛化，只能基于训练

CPP基础笔记

⚓CPP基础学习练习代码可以来 https://github.com/cher112/PAT---- 看 🏍输入输出📫scanf（）数组名称本身就代表了这个数组第一个元素的地址因此 scan(“%s”,str)——字符串数组，不需要加地址符 scanf的%c格式可以读入空格和换行。%s识别空格作为字符串的结尾 实用输出格式 %md 使不足m位的int 以m位用空格进行右对齐输出，若超过m

SQL基础(一)

SQLSQL数据定义基本类型如果对char(10)属性存入Avi，则空的七个字符会被空格填入，varchar(10)则不会有空格 用var和char对比，var 不一定 会自动填入空格来使长度一致，取决于数据库系统两个char则会自动添加空格使长度一致 基本模式定义完整性约束 查询的基本结构1234567891011121314单关系查询select dept_name from instru

softmax以及交叉熵loss 笔记

softmax以及交叉熵loss 笔记这几天学习了一下 softmax 激活函数，以及它的梯度求导过程，整理一下便于分享和交流！ 一、softmax 函数softmax 用于多分类过程中，它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类！ 假设我们有一个数组，V，Vi 表示 V 中的第 i 个元素，那么这个元素的 softmax 值就是 更形象的如下图表示：

LSTM -Pytorch实现&解构

部分源码和思路来源于 《Dive-into-DL-PyTorch》，很好的一本进阶书籍，推荐学习！ 本文适合对pytorch.nn，python-generator有一定基础的人观看，若对DL感兴趣想入门的朋友，推荐去看李宏毅2020的网课。 LSTM介绍LSTM 中引入了3个门，即输入门（input gate）、遗忘门（forget gate）和输出门（output gate），以及与隐藏状

Java week3-4 总结重载 接口一个需求表明,接口中有的方法必须被掉用类的覆盖了才可以用implement 不需要有方法，但可以有（默认方法） 实现该接口的类的实例可以用：接口名 xx = 类名(args); 可能的冲突： 超类冲突，如果超类提供了一个具体方法，同名而且有相同参数类型的默认方法会被忽略。 接口冲突。 如果一个超接口提供了一个默认方法，另一个接口提供了一个同名而且参数类

计组 Chapter3 存储系统

第三章 存储系统主存的部分内容见OS部分的内存,详细讲解 随机访问存储器随机访问存储器（Random-Access Memory，RAM）分两类：静态（SRAM）和动态（DRAM）。SRAM比DRAM更快，也更贵。SRAM用来作为高速缓存存储器。DRAM用来作为主存，以及图形系统的帧缓冲区。1.SRAMSRAM的每个维存储在一个双稳态存储器单元中，这种单元用六晶体管实现，并且可以无限期的保持在两个