【深度学习】向量化
1. 什么是向量化
向量化通常是消除代码中显示for循环语句的技巧，在深度学习实际应用中，可能会遇到大量的训练数据，因为深度学习算法往往在这种情况下表现更好，所以代码的运行速度非常重要，否则如果它运行在一个大的数据集上面，代码可能花费很长时间去运行。
什么是向量化？在logistic回归中，需要计算，w、x均为列向量。如果为非向量化实现：
z=0
for i in range(n_x):
z+=w[i]*x[i]
z+=b 如果为向量化实现，会直接计算，后面直接加上b：
z=np.dot(w,x)+b经过时间计算对比发现，非向量化的版本花费了300倍向量版本的时间：
可扩展深度学习实现实在GPU上做的，GPU也叫做图像处理单元。而GPU和CPU都有并行化的指令，有时候叫做SIMD指令，意思是单指令流多数据流，意思是如果使用了这样的内置函数np.function或者其他能去掉for循环的函数，这样python的numpy能充分利用并行化更快地计算。GPU相比较于CPU更擅长SIMD计算。
2. 向量化的更多例子
例1：
当编写神经网络时，尽可能的避免for循环。若我们想要计算，即
：
# 非向量化
for i in range (5)
for j in range (5)
u[i]+=A[i][j]*v[j]
# 向量化
u=np.dot(A,v)例2：
假设已经有一个向量，
，求
，非向量化计算方法：
u=np.zeros((n,1))
for i in range (n):
u[i]=math.exp(v[i])向量化计算方法：
import numpy as np
u=np.exp(v)
np.log(v)
np.abs(v)
np.maximux(v,0)
例3：
m个样本的梯度下降算法
3. 向量化 logistic 回归（Vectorizing Logistic Regression）
假设有m个样本，为了实现前向传播，需要计算出m个训练样本的预测结果。在下面的例子中，当加上一个常数b的时候，会将其自动拓展成一个1xm的向量，在python中也称为 “Broadcasting”。
Z=np.dot(w.T,X)+b4. 向量化 logistic 回归的梯度输出
Z=np.dot(w.T,x)+b
A=σ(Z)
dZ=A-Y
dw=np.dot(X,dZ.T)/m
db=np.sum(dZ)/m
w:=w-a*dw
b:=w-a*dw