深度学习你需要了解的名词（中英文对照）

activation	                  激活值
activation function	          激活函数
additive noise	                  加性噪声
autoencoder	                  自编码器
Autoencoders	                  自编码算法
average firing rate	          平均激活率
average sum-of-squares error	  均方差
backpropagation	                  后向传播
basis	                          基
basis feature vectors	          特征基向量
batch gradient ascent	          批量梯度上升法
Bayesian regularization method	  贝叶斯规则化方法
Bernoulli random variable	  伯努利随机变量
bias term 	                  偏置项
binary classfication	          二元分类
class labels	                  类型标记
concatenation	                  级联
conjugate gradient 	          共轭梯度
contiguous groups	          联通区域
convex optimization software	  凸优化软件
convolution	                  卷积
cost function	                  代价函数
covariance matrix	          协方差矩阵
DC component	                  直流分量
decorrelation	                  去相关
degeneracy	                  退化
demensionality reduction          降维
derivative	                  导函数
diagonal                          对角线
diffusion of gradients	          梯度的弥散
eigenvalue	                  特征值
eigenvector	                  特征向量
error term	                  残差
feature matrix 	                  特征矩阵
feature standardization	          特征标准化
feedforward architectures	  前馈结构算法
feedforward neural network	  前馈神经网络
feedforward pass	                  前馈传导
fine-tuned	                  微调
first-order feature	          一阶特征
forward pass	                  前向传导
forward propagation	          前向传播
Gaussian prior	                  高斯先验概率
generative model	                  生成模型
gradient descent            	  梯度下降
Greedy layer-wise training	  逐层贪婪训练方法
grouping matrix	                  分组矩阵
Hadamard product                  阿达马乘积
Hessian matrix 	Hessian           矩阵
hidden layer	                  隐含层
hidden units	                  隐藏神经元
Hierarchical grouping	          层次型分组
higher-order features	          更高阶特征
highly non-convex optimization problem	高度非凸的优化问题
histogram	                  直方图
hyperbolic tangent	          双曲正切函数
hypothesis	                  估值，假设
identity activation function	  恒等激励函数
IID	                          独立同分布
illumination	                  照明
inactive	                          抑制
independent component analysis	  独立成份分析
input domains	                  输入域
input layer	                  输入层
intensity	                  亮度/灰度
intercept term	                  截距
KL divergence	                  相对熵
KL divergence	                  KL分散度
k-Means	                          K-均值
learning rate	                  学习速率
least squares	                  最小二乘法
linear correspondence	          线性响应
linear superposition	          线性叠加
line-search algorithm	          线搜索算法
local mean subtraction	          局部均值消减
local optima	                  局部最优解
logistic regression	          逻辑回归
loss function	                  损失函数
low-pass filtering	          低通滤波
magnitude	                  幅值
MAP	                          极大后验估计
maximum likelihood estimation	  极大似然估计
mean	                          平均值
MFCC	Mel                       倒频系数
multi-class classification	  多元分类
neural networks	                  神经网络
neuron	                          神经元
Newton's method 	                  牛顿法
non-convex function	          非凸函数
non-linear feature	          非线性特征
norm	                          范式
norm bounded	                  有界范数
norm constrained	                  范数约束
normalization	                  归一化
numerical roundoff errors 	  数值舍入误差
numerically checking 	          数值检验
numerically reliable	          数值计算上稳定
object detection	                  物体检测
objective function	          目标函数
off-by-one error 	          缺位错误
orthogonalization	          正交化
output layer	                  输出层
overall cost function	          总体代价函数
over-complete basis	          超完备基
over-fitting	                  过拟合
parts of objects              	  目标的部件
part-whole decompostion	          部分-整体分解
PCA	                          主元分析
penalty term	                  惩罚因子
per-example mean subtraction	  逐样本均值消减
pooling	                          池化
pretrain                       	  预训练
principal components analysis	  主成份分析
quadratic constraints	          二次约束
RBMs	                          受限Boltzman机
reconstruction based models	  基于重构的模型
reconstruction cost	          重建代价
reconstruction term	          重构项
redundant	                  冗余
reflection matrix	          反射矩阵
regularization	                  正则化
regularization term	          正则化项
rescaling	                  缩放
robust	                          鲁棒性
run	                          行程
second-order feature	          二阶特征
sigmoid activation function	  S型激励函数
significant digits                有效数字
singular value	                  奇异值
singular vector	                  奇异向量
smoothed L1 penalty	          平滑的L1范数惩罚
Smoothed topographic L1 sparsity penalty	平滑地形L1稀疏惩罚函数
smoothing	                  平滑
Softmax Regresson	          Softmax回归
sorted in decreasing order	  降序排列
source features	                  源特征
sparse autoencoder	          消减归一化
Sparsity	                        稀疏性
sparsity parameter	        稀疏性参数
sparsity penalty	                稀疏惩罚
square function	                平方函数
squared-error	                方差
stationary	                平稳性（不变性）
stationary stochastic process	平稳随机过程
step-size 	                步长值
supervised learning	        监督学习
symmetric positive semi-definite matrix	对称半正定矩阵
symmetry breaking	        对称失效
tanh function	                双曲正切函数
the average activation	        平均活跃度
the derivative checking method	梯度验证方法
the empirical distribution	经验分布函数
the energy function	        能量函数
the Lagrange dual	        拉格朗日对偶函数
the log likelihood	        对数似然函数
the pixel intensity value	像素灰度值
the rate of convergence	        收敛速度
topographic cost term	        拓扑代价项
topographic ordered	        拓扑秩序
transformation	                变换
translation invariant	        平移不变性
trivial answer	                平凡解
under-complete basis	        不完备基
unrolling 	                组合扩展
unsupervised learning	        无监督学习
variance	                        方差
vecotrized implementation	向量化实现
vectorization	                矢量化
visual cortex	                视觉皮层
weight decay	                权重衰减
weighted average	                加权平均值
whitening	                白化
zero-mean	                均值为零