浅析神经网络 Neural Networks
大 厂 技 术 坚 持 周 更 精 选 好 文
目录
前情概要
-
该主题分享的目的是:
-
不局限于前端,拓展知识学习领域,不设边界。
-
以下仅代表我个人学习总结,如有问题,虚心请教,并及时修正。
另外本次分享不会有大段大段代码,主要是理解为什么这么做。
在开始分享主题之前,我们可以先思考下,不管你用什么语言 (解释类型语言 或 编译类型语言),你写一堆的字符串,一顿解析编译后,从汇编语言再到最后的机器语言 0 / 1,即是CPU"认识"的。CPU用来计算和控制计算机系统的一套指令的集合。电路实现这种运算。运算又是规则。以上,每一个步骤的描述都是为了应对日益复杂的问题,不断抽象的过程。
不管我们怎么抽象,都离不开计算,计算又离不开数学(利用抽象和逻辑能力) 。我们今天主题跟抽象、计算、数学这几个词,是很有关系的。
回到本次分享的主题,人工智能又是什么?简单的说是有海量数据 -> 归纳出规则 -> 解决问题。
Artificial intelligence is intelligence demonstrated by machines.
你会想这跟智能没啥关系啊 ~ 我个人理解智能是玄学,那人工智能是什么?
任正非说: 人工智能是统计学。
统计学: 是应用数学的一个分支,主要通过利用概率论建立数学模型,收集所观察系统的数据,进行量化的分析、总结,并进而进行推断和预测,为相关决策提供依据和参考。
Statistics is the study and manipulation of data , including ways to gather, review, analyze, and draw conclusions from data.
人工智能包括机器学习,例如线性回归、逻辑回归、贝叶斯模型、NN等。通过某个模型结构,基于训练数据,得出相应关系的概率。深度学习又是机器学习的一个分支,是基于NN神经网络为基本架构的拓展,常见的CNN(图像处理)、RNN(语音识别)等。
概念上就不做过多解释了,我直接上参考的结论吧。
参考:
-
机器学习、深度学习和强化学习的关系和区别是什么? - 知乎 [1]
-
DEEP REINFORCEMENT LEARNING.pdf [2]
-
机器学习:一切通过优化方法挖掘数据中规律的学科。
-
深度学习:一切运用了神经网络作为参数结构进行优化的机器学习算法。
-
强化学习:不仅能利用现有数据,还可以通过对环境的探索获得新数据,并利用新数据循环往复地更新迭代现有模型的机器学习算法。
-
深度强化学习:一切运用了神经网络作为参数结构进行优化的强化学习算法。
前情概要的小总结: 应对海量数据,我们需要通过一些方法 (工具? 抽象能力?计算?算法、数学?...),俗称AI,来帮助我们解决问题。
回归模型
线性回归
例子 :chestnut:
我们先通过一个简单的例子,来看基于tensorflow.js实现的线性模型。
http://linjiayu6.github.io/Tensorflow.js-LinearRegression/
首先,在屏幕上点几个离散点。
一直点击【模型训练】,我们希望得到训练好的线性模型 (y = ax + b),其中a,b是需要我们通过几个点训练出的值。
最后得出: Y = 1.040215015411377 X + 0.33632710576057434。
-
看到这里你会问,这怎么实现?我们来看看 代码 [3] 。
-
确认模型 y = ax + b
-
x, y 数据需要处理成矩阵,叫做x特征值,y是实际结果值。
-
a,b 是需要我们通过某种方法预测出来的值。
-
训练模型 涉及 损失函数、梯度下降等。
-
得到训练好的模型。
import * as tf from '@tensorflow/tfjs'
window.a = tf.variable(tf.scalar(Math.random()))
window.b = tf.variable(tf.scalar(Math.random()))
// 建立模型 y = ax + b
const model = (xs, a, b) => xs.mul(a).add(b)
// 1. training, y值
const training = ({ points, trainTimes }) => {
for (var i = 0; i < trainTimes; i++) {
const learningRate = 0.1 // 学习率
const optimizer = tf.train.sgd(learningRate); // 随机梯度下降
const ys = tf.tensor1d(points.map(points => points.y)) // 样本y值
// loss(训练好的模型y'值 - 样本y值)的损失到最小。
optimizer.minimize(() => loss(predict(points.map((points) => points.x)), ys));
}
}
// 2. predict, x值输入, 线性方程 y = ax + b
const predict = x => {
return tf.tidy(() => {
const xs = tf.tensor1d(x)
const predictYs = model(xs, window.a, window.b)
return predictYs
})
}
// 3. 评价过程, 也是损失函数: 均方差 求出最小的
const loss = (predictYs, ys) => predictYs.sub(ys).square().mean()
export default {
training, predict
}
我们使用了一些数据,通过TensorFlow.js一些方法的调用,得到了一条和这几个点拟合程度较好的线性模型。为了探究具体的实现,详看一下几个概念。
损失函数
损失函数是用来评估模型的好坏,即模型预测值和真实值的误差, 损失越小, 模型越好。We measure the "accuracy" of our hypothesis function by using a cost function
平方误差函数 广泛应用在 回归的问题 square error function is commonly used for "regression" problems
目标是: 所有橘色线(让黑色点和红色点之间的线),即预测结果和实际结果间的误差最小。
损失函数: 用于度量建模误差的,为了得到误差的最小值。统计学中通常使用平方误差方法。
统计学中的平方误差(损失)函数
-
系数是为了后续在梯度下降中便于求解使用的。导数会抵消掉
梯度下降
梯度下降还会涉及到 特征值缩放、均值归一化处理等。这里也不做过多扩展。
-
好处是: 每个特性向量值均缩放到一个区间内,梯度下降速度会更快。
想象你在山顶上了,需要下山,有很多条道儿可以走。
-
如果你步伐迈的太大,意味着你可能会很快下山,但也有可能走太多的弯路,花费更多时间。
-
如果你步伐迈的太小,意味着你可能不能很快下山,但也可能会在过程中找到最佳下山路径,用了最少时间。
简单的例子,带你了解梯度下降
过往实验例子 [4] 训练模型不会以一个固定值来训练,会开始步子大些,后续逐渐变小。
该例子通过图像直观说明学习率(步伐多大)对模型的影响 (eg: 收敛、欠拟合)。
梯度下降目的: 用来求解损失函数的最小值的方法。得到局部最优解的方法。
帮您简单回忆一下,什么是导数呢?导数是微小的变化量。
线性回归模型 | ||
目标是 | 下山 | |
损失函数表示 | 下山如何费力最小 | |
梯度下降(Repeat) |
具体细节: 步子迈多大 每次朝着哪个方向走经过不停的调整步伐和下山的方向,最后成功下山,并以最小费力方式。 |
Repeat until converage 以上结论,计算推导过程。高数知识只要知道复合函数求导就ok了。 |
小总结
我们再来回顾下刚才的代码例子。
-
确认目标: 你此刻站在山顶⛰,规划下山路径(),想要下山()
-
在你没有开始行动前,就已经得到了下山最不费力的方法(损失函数))
-
当你走每一步,会调整下山步伐α 和方向的规划
-
(梯度下降)
-
不停的重复第三步,最后成功下山。
是不是看到这里,发现模型的训练,也没有那么难啦。
逻辑回归
在线性回归模型中,我们了解到了模型、损失函数、梯度下降的含义。
逻辑回归对我们理解NN 神经网络有很大的帮助。
逻辑回归的现实意义是分类问题。eg: 预测用户是否喜欢该类视频?预测该用户是男还是女?
例如我们预测该图片是否是只猫:cat2::
-
:cat2: 模型: 我们有 n个猫的特征features (毛发、眼睛、鼻子.... ),通过这些特征来预测一个图片是否是猫:cat2:。
-
预测的结果标识 / 逻辑回归:,有多大的概率。
-
从模型和预测的结果来看,已经不是线性模型可以覆盖到的情况了。下面介绍下逻辑回归的模型。
模型
如果要实现上述例子,就需要明白逻辑回归的模型。
除了sigmoid,还有一些其他方法例如 relu tanh,在NN中被使用。
损失函数
逻辑回归和线性回归的损失函数是不同的。线性回归损失函数(平方损失函数) 是在在满足 高斯分布 / 正态分布 [5] 的条件下推导得到的,而逻辑回归假设样本满足 伯努利分布 [6] 。故需要重新定义损失函数。
损失函数为: (是从 最大似然估计 [7] 得来的)
简单解释下损失函数的含义:
-
对单一样本
-
预测结果只有 是和不是 两种情况,即或。
-
展开后为
y | 损失函数 | 损失函数 和 之间关系 |
---|---|---|
代入公式 => |
当预测值,误差为0。反之随着变小误差变大。 | |
代入公式 => |
当预测值,误差为0。反之随着变大误差变大。 |
有了损失函数的定义后,和线性回归一样的道理,我们需要计算出 损失函数最小的时候值。
梯度下降
逻辑回归demo,感兴趣可以去看看 [8] ,跟线性回归的套路是一样的,建立模型,定义好损失函数,训练数据不停对模型进行训练处理,最后得到训练好的模型。
小总结
逻辑回归模型 |
2. Sigmoid Function 3. 值在[0, 1] |
---|---|
目标是 | |
损失函数 | |
梯度下降 |
Repeat until converage - 以上结论,计算推导过程。高数知识只要知道复合函数求导就ok了。 |
我们大致了解了线性和逻辑回归的模型,也理解了损失函数和梯度下降的意义。
但面对着日益复杂的情况,如此简单的模型是无法满足现实情况的。尤其当特征值很多的时候,即对计算是非常大的负荷。例如我们对一张图片进行预测是否是车,如果该图片像素是100*100 *3, 即有3w个特征值,这显然对计算来说是很不合理的。
这也就是为什么,我们需要神经网络NN,以及CNN、RNN 等这些更复杂的模型。
神经网络
学习资料: 3blue1brown-深度学习(英文搬运)_哔哩哔哩_bilibili [9]
什么是神经网络
生物上的神经元,有输入和输出层,输入层接受其他神经元的信息,输出层以电脉冲的形式发给其他神经元。
当 大脑在思考的时候,一枚可爱的神经元在干什么? 每个树突收到其他神经元发出的刺激脉冲后,当这些刺激脉冲叠加后,达到一定的强度阈值,就会产生动作电位,并沿着轴突发送电信号。故以此来不停的传递。
该过程可类比于有很多条水管(树突),水管粗细不一,故输入的流速也不一样,开始放水(信号),当水桶里水足够多并达到阈值的时候 (激活),会从右侧轴突流出来。流出的水会再次流向下一个水桶。
来源: 来自google搜索图
Neural Networks: 算法来模拟人的大脑。本质还是构建模型,并通过数学运算得到预测结果。人认识某个动物是大熊猫是一样的,我们对熊猫的特征认知,例如大熊猫只有黑白色、只在四川、只吃竹子等等。故对NN模型的训练道理是一样的。
NN 神经网络是最基本的的算法模型,像深度学习的CNN 卷积神经网络对图像的处理;RNN 循环神经网络对语言模型的研究等等,各种复杂的模型,都是基于NN拓展的。
神经网络模型
层:
-
1个输入层: Input Layer。eg: 图上输入层有3个特征值。
-
N隐藏层: Hidden Layers。eg: 图上有两个隐藏层。
-
1个输出层: Output Layer。eg: 对某个结果的预测。
每一层都有很多个神经元 Neuron。对于一个神经元的结构如下:
一个神经元的模型
说明:
-
特征值 features:
-
权重值 weights:每个神经元连接的线 (概念也可以理解为)
-
偏移量 bias: 偏移量增加的意义 [10]
-
激活函数 activation function 例如常见的sigmoid、tanh、Relu方法
一个神经元内部计算:
是不是也不难看懂,其实每一个小的神经元,类似一个逻辑回归。
通常对于激活函数 activation function,如图上使用 sigmoid的使用,会使用Relu。
正向传播
创建模型,定义每层的结构,并以此往后传递。
简单的理解是: 将多个逻辑回归模型组合在一起。
我们建立一个简单的NN模型,只有一个hidden layer,会有2个预测结果的输出。
Eg: (只是个例子说明) 该模型是预测是猫还是狗,X 特征值代表 毛发、眼睛、鼻子、嘴巴,输出层会判断猫还是狗的概率更大些。
针对已经建立的模型,像逻辑回归一样,明确每一个神经元连接的信息。
例如 按照我们上面对一个神经元模型的创建,建立每个神经元的公式。
以下为了理解 激活函数 activation function用了 sigmoid function
正向传播: 沿着从输入层到输出层,依次计算,并存储神经网络的中间变量。
此时,我们的目标值是每一层的 W 和 b。
反向传播
按照我们回归模型的套路是,在已经创建好的模型基础上,评估损失函数。
其实理解了逻辑回归的损失函数,不难理解这个公式。
我们暂不去看正则化的处理 (正则化我的理解是: 向模型加入某些规则,加入先验,缩小解空间,减小求出错误解的可能性)。NN损失函数的定义非常的明确,是每个分类的损失函数加和。
反向传播算法的目的是: 计算每一层的参数 w b 对总损失函数的影响。
Repeat until converage
例子 :chestnut:
代码: 用NN识别一只:cat2: [11] ,以下为代码片段。
-
加载数据、处理数据。省略代码说明。
-
建立模型,定义向前传播。
# Sigmoid
def sigmoid (z):
return 1 / ( 1 + np . exp(-z))
# Sigmoid Derivatives
def sigmoid_derivatives (a):
return a * (1 - a)
def forward_propagation (W, b, X):
# W, B: 一列为一组数据
Z = np . dot(W . T, X) + b
A = sigmoid(Z)
return A
-
定义损失函数。
def loss_function (y, a):
# one sample
return -y * np . log(a) - (1 - y) * np . log(1 - a)
def Loss_Fn (Y, A):
# all samples (1, 209)
m = Y . shape[1]
# log(0)会遇到报错情况
epsilon = 1e-5
J = (1 / m) * np . sum(-Y * np . log(A + epsilon) - (1 - Y) * np . log(1 - A + epsilon))
return J
-
梯度下降,定义向后传播。
def backward_propagation (Y, A, X):
# eg: A: 1 * m, Y: 1 * m X: 3 * m
m = A . shape[1]
dL_dZ = A - Y
dL_dW = (1 / m) * np . dot(X, (A - Y) . T)
dL_dB = (1 / m) * np . sum(A - Y)
return dL_dW, dL_dB
-
训练模型。(这只是一层模型,如果有很多层的话,详看 两层NN demo [12] )。
def train (X, Y, alpha, iterations):
# ......
# hyperparameters
# alpha = 0.005
# iterations = 2000
# 1. Initializing parameters - 目标
W, b = initialize_parameters(input_nums, output_nums)
J_arr = []
# 4. iterations: 2,3,4
for i in range(iterations): # 不停训练
# 2. Forward Propagation 向前传播
A = forward_propagation(W, b, X)
# 3. Backward Propagation 向后传播,梯度下降
dL_dW, dL_dB = backward_propagation(Y, A, X)
W -= alpha * dL_dW # 类似下山步伐和方向
b -= alpha * dL_dB # 类似下山步伐和方向
return W, b, J_arr
总结
上述,我只是简单介绍了一点有关NN模型的基础知识,实际上有关神经网络的知识还很多。本次分享的初衷是通过一些对模型基础的理解 + TensorFlow.js,前端同学也可以玩玩机器学习。
在我们的业务场景里,常见算法对业务赋能的场景,例如在出读阅卷中的图像识别 (eg: 对于一张试卷结构和标志点等识别)。
参考资料
机器学习、深度学习和强化学习的关系和区别是什么? - 知乎: http://www.zhihu.com/question/279973545/answer/588124593
DEEP REINFORCEMENT LEARNING.pdf: http://arxiv.org/pdf/1810.06339.pdf
代码: http://github.com/Linjiayu6/Tensorflow.js-LinearRegression/blob/master/src/tensorflow.js
过往实验例子: http://github.com/Linjiayu6/Machine-Learning-Practice/tree/master/Regression/logistic_regression
高斯分布 / 正态分布: http://zh.wikipedia.org/wiki/%E6%AD%A3%E6%80%81%E5%88%86%E5%B8%83
伯努利分布: http://zh.wikipedia.org/wiki/%E4%BC%AF%E5%8A%AA%E5%88%A9%E5%88%86%E5%B8%83
最大似然估计: http://zhuanlan.zhihu.com/p/26614750
逻辑回归demo,感兴趣可以去看看: http://github.com/Linjiayu6/Deep-Learning/blob/master/coursera/L1_Neural%20Networks%20and%20Deep%20Learning/W2__Logistic%20Regression%20demo.ipynb
学习资料: 3blue1brown-深度学习(英文搬运)_哔哩哔哩_bilibili: http://www.bilibili.com/video/BV1Et411779N?p=2
偏移量增加的意义: http://www.zhihu.com/question/68247574
代码: 用NN识别一只:cat2:: http://github.com/Linjiayu6/Deep-Learning/blob/master/coursera/L1_Neural%20Networks%20and%20Deep%20Learning/W2__Logistic%20Regression%20with%20a%20Neural%20Network%20mindset.ipynb
两层NN demo: http://github.com/Linjiayu6/Deep-Learning/blob/master/coursera/L1_Neural%20Networks%20and%20Deep%20Learning/W5__2-Layer__Deep%20Neural%20Network%20for%20Image%20Classification%20-%20Application.ipynb
- END -
:heart: 谢谢支持
以上便是本次分享的全部内容,希望对你有所帮助^_^
喜欢的话别忘了 分享、点赞、收藏 三连哦~。
欢迎关注公众号 ELab团队 收货大厂一手好文章~
字节跳动校/社招内推码: W7HD8A6
投递链接: http://jobs.toutiao.com/s/dQ2dogm
- 使用 WebAssembly 打造定制 JS Runtime
- 前端也要懂算法,不会算法也能微调一个 NLP 预训练模型
- 联机游戏原理入门即入土 -- 入门篇
- Plasmo Framework:次世代的浏览器插件开发框架
- 深入理解 Mocha 测试框架:从零实现一个 Mocha
- Single Source of Truth:XCode SwiftUI 的界面编辑的设计理念
- 深入理解 D3.js 可视化库之力导向图原理与实现
- 浅析神经网络 Neural Networks
- Cutter - Web视频剪辑工具原理浅析
- 你可能需要一个四舍五入的工具函数
- 浅析eslint原理
- 最小编译器the-super-tiny-compiler
- Git存储原理及部分实现
- 浅谈短链的设计
- Web组件构建库-Lit
- 使用Svelte开发Chrome Extension
- Web3.0开发入门
- vscode插件原理浅析与实战
- 深入浅出 Web Audio API
- 探秘HTTPS