CPU电路功能分析

一、CPU控制器的工作过程

CPU控制器主要负责解析指令的操作码以及R型指令的功能码。

例如：R型指令格式如下:

CPU控制器会对R型指令高六位操作码部分以及低六位功能码部分进行解析。

相关问题：R型指令的第六位功能码会对最终输出的ALU_Control产生影响，为什么其他类型的指令不会？

答：其他类型指令的操作码不同，会从电路上进行设计，从而屏蔽其他指令低六位对最终ALU_Control的影响。

8.4 人脑中的记忆

​ 这个部分主要讲了生物神经网络中人脑记忆的特性。其中人脑记忆的一个特点就是记忆一般分为长期记忆和短期记忆。长期记忆体现为神经元之间的连接形态，更新速度比较慢，因此长期记忆可以类比于人工神经网络中的权重参数；短期记忆体现为神经元的活动，更新较快，可以类比于人工神经网络中的隐状态。

k8s的管理功能体现在什么地方？

​ 早期应用程序的部署会直接部署在物理机上，较为简单，但不同的应用程序之间会产生影响。之后产生了虚拟化部署，虽然保证了程序间的隔离，但极大地耗费资源。于是容器化部署出现了，容器化部署可以保证每个容器拥有自己的文件系统、CPU、内存、进程空间等，运行应用程序所需要的资源都被容器包装，并与底层基础架构解耦等。

高维变量的非凸优化

​ 之前我们遇到的问题都是使用梯度下降法会陷入局部最优点无法逃离，事实上这只是在低维空间中，现在的多数机器学习任务都是在高维空间中的，并且遇到的大多数都是鞍点，因此，非凸优化的难点并不在于如何逃离局部最优点，而是如何逃离鞍点，如图所示：

如何理解反向传播？

​ 首先介绍一下什么是梯度下降法。以神经网络为例，给定一组神经网络参数，即
$$
\theta={w_1,w_2,…,b_1,b_2,…}
$$
记
$$
\nabla L(\theta)=\left[\begin{matrix}
\frac{\partial L(\theta)}{\partial w_1} \
\frac{\partial L(\theta)}{\partial w_2} \
\vdots \
\frac{\partial L(\theta)}{\partial b_1} \
\frac{\partial L(\theta)}{\partial b_2} \
\vdots
\end{matrix}\right]
$$
通过计算$\nabla L(\theta^0)$，得到$\theta^1=\theta^0-\eta\nabla L(\theta^0)$，通过计算$\nabla L(\theta^1)$，得到$\theta^2=\theta^1-\eta\nabla L(\theta^1)$，不断反复，最后找到最佳参数。与线性回归，逻辑回归不同的是，神经网络中往往参数量是百万级别的，如何有效率地计算梯度，这便是反向传播的作用。

为什么平方损失函数不适用于分类问题？

​ 在Softmax激活函数的作用下，使用平方损失函数，随着实际值与预测值的绝对误差的不断增大，梯度反而会不断减小，这就使得调整参数的速度减慢，不利于快速收敛。