softmax以及交叉熵loss 笔记

softmax以及交叉熵loss 笔记

softmax以及交叉熵loss 笔记这几天学习了一下 softmax 激活函数，以及它的梯度求导过程，整理一下便于分享和交流！ 一、softmax 函数softmax 用于多分类过程中，它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类！ 假设我们有一个数组，V，Vi 表示 V 中的第 i 个元素，那么这个元素的 softmax 值就是 更形象的如下图表示：

神经网络
数据库设计和E-R模型

数据库设计和E-R模型

数据库设计和E-R模型设计过程概览 设计数据库模式 设计访问和更新数据的程序 设计控制数据访问的安全模式 实体 联系模型 E-R model三个基本概念 实体集 联系集 属性 实体集每个实体有一组性质，其中的一些可以唯一标识一个实体。比如身份证号值 联系集eg: 二元联系集：涉及两个实体集的联系集。 属性实体集的属性是 将实体集映射到域的函数。每个实体可以用一组(属性，数据值)的key对来表

数据库
深度学习入门 -- 权重初始值的优化

深度学习入门 -- 权重初始值的优化

深度学习入门 – 权重初始值的优化在神经网络的学习中，权重的初始值特别重要，它经常关系到神经网络的学习能否成功。 权重初始值的优化有三个要点（结论）： 权重初始值必须是随机生成的。 当激活函数使用sigmoid或tanh函数(正切函数)等 S 型曲线函数时，初始值使用Xavier初始值。 当激活函数使用ReLU时，权重初始值使用He初始值。 随机生成的权重初始值就像这样： 0.01 * np.

深度学习
调参侠
优化（ optimization）和泛化 （generalization）——减少过拟合和欠拟合

优化（ optimization）和泛化 （generalization）——减少过拟合和欠拟合

优化（ optimization）和泛化 （generalization）——减少过拟合和欠拟合基本原则 机器学习的根本问题是优化和泛化之间的对立。 优化（ optimization）是指调节模型以在训练数据上得到最佳性能（即机器学习中的学习）而泛化（ generalization）是指训练好的模型在前所未见的数据上的性能好坏。机器学习的目的当然是得到良好的泛化，但你无法控制泛化，只能基于训练

神经网络
优化
神经网络-张量引擎

神经网络-张量引擎

基础步骤： 加载数据集，预处理数据 搭建网络架构(models,layers) 编译(调参) 拟合，得分神经网络的数据表示张量数据存储在多维 Numpy 数组中，也叫张量（ tensor）。 一般来说，当前所有机器学习系统都使用张量作为基本数据结构。定义：张量是矩阵向任意维度的推广张量这一概念的核心在于，它是一个数据容器。它包含的数据几乎总是数值数据，因此它是数字的容器。你可能对矩阵很熟悉，它

神经网络
Tensorflow
神经网络——基于 relu 激活Dense 层堆叠

神经网络——基于 relu 激活Dense 层堆叠

神经网络——基于 relu 激活Dense 层堆叠参数 num_words=10000 的意思是仅保留训练数据中前 10 000 个最常出现的单词。低频单词将被舍弃。这样得到的向量数据不会太大，便于处理。 准备数据解码：/？是什么意思…. 将列表转换为张量转化为2进制矩阵，(one-hot 编码)举个例子，序列 [3, 5] 将会被转换为 10 000 维向量，只有索引为 3 和 5 的元素是 1

神经网络
JAVA笔记 第五章 继承

《激荡的三十年：中国企业 1978—2008》(上) 读书摘要

激荡三十年：中国企业 1978—2008（十年典藏版·上） 吴晓波 345个想法 ◆ 题记 当这个时代到来的时候，锐不可当。万物肆意生长，尘埃与曙光升腾，江河汇聚成川，无名山丘崛起为峰，天地一时，无比开阔。 二 他们出身草莽，不无野蛮，性情漂移，坚忍而勇于博取。他们的浅薄使得他们处理任何商业问题都能够用最简洁的办法直指核心，他们的冷酷使得他们能够拨去一切道德的含情脉脉而回到利益关系的基本

读书笔记
激荡的三十年
SQL基础(一)