丹阳400电话申请开通【丹阳企业网站建设】丹阳微信公众号小程序开发运营价格、丹阳微信公众号APP软件客户端设计运营、丹阳网页页面设计公司费用、丹阳公司网站制作方案流程改版维护大概需要多少钱

发表日期： 2021-04-27 13:03:42 浏览次数：72

丹阳市，江苏省辖县级市，由镇江市代管，位于江苏省南部，介于北纬31°44′～32°08′、东经119°23′～119°53′之间，总面积1047平方公里。丹阳属亚热带季风气候，具有气候湿润、光照充足、雨量丰沛、无霜期长、四季分明的气候特征。截至2019年，丹阳市辖2个街道、10个镇。常住人口80.63 万人。 [1]

丹阳建置始于战国时期，初为云阳邑。《山海经》中有一条河叫“丹水”，即丹江，根据“山水阴阳，水北为阳”的理论命名丹阳。 [2] 1987年12月，丹阳撤县设市，为丹阳市，由镇江市代管。丹阳市与常州市新北区交界处建有常州奔牛国际机场，沪宁高速公路（G42沪蓉高速）、312国道、122省道、338省道等是通过公路出入丹阳的主要干道，水运有京杭大运河纵贯丹阳，大港港口是对外开放的长江第三大港。 [3]

2019年，丹阳市实现地区生产总值1121.99亿元，同比增长4.7%。 [4] 2018年12月，入选全国县域经济综合竞争力100强，2018中国大陆最佳商业城市100强、中国最佳县级城市30强。 [5] 2019年10月8日，被评为2019年度全国综合实力百强县市。 [6] 2019全国营商环境百强县。 [7] 2019年国家卫生城市。 [8] 2020年12月，社科院发布《全国县域经济综合竞争力100强》，丹阳排名第40 [9] 。

如果这个示例的矩阵数学是正确的，则将 $x_{11}$ 增加 0.001 会导致 $L$ 增加 0.01×0.2489 。事实上，代码的运行情况是这样的：

X1 = X.copy()X1[0, 0] += 0.001print(round(
        (matrix_function_forward_sum(X1, W, sigmoid) - \
         matrix_function_forward_sum(X, W, sigmoid)) / 0.001, 4))0.2489复制代码

看起来梯度的计算是正确的！

直观地描述梯度

回到前面提到的内容，将元素 $x_{11}$ 传递给具有多重运算的函数，包括矩阵乘法、sigmoid 函数、求和运算。其中的矩阵乘法实际上是由矩阵 $\boldsymbol{X}$ 中的 9 个输入与矩阵 $\boldsymbol{W}$ 中的 6 个输入相结合，从而创建出的 6 个输出的简写。然而，也可以将其视为单独的函数 WNSL，如图 1-23 所示。

图 1-23：用单个函数 WNSL 来描述嵌套函数

由于每个函数都是可微的，因此整个函数就是一个以 $x_{11}$ 为输入的可微函数。另外，梯度就是 $\dfrac{{\rm d}L}{{\rm d}x_{11}}$ 。为了使其可视化，可以简单地绘制 $L$ 随着 $x_{11}$ 的变化而变化的情况。

$x_{11}$ 的初始值是 -1.5775：

print("X:")print(X)X:[[-1.5775 -0.6664  0.6391]
 [-0.5615  0.7373 -1.4231]
 [-1.4435 -0.3913  0.1539]]复制代码

对于将 $\boldsymbol{X}$ 和 $\boldsymbol{W}$ 输入到前面定义的计算图中，或者说将 $\boldsymbol{X}$ 和 $\boldsymbol{W}$ 输入到前面代码调用的函数中，如果绘制整个过程中所得到的 $L$ 值的图像，并且除了 $x_{11}$ （X[0, 0]）外不做任何变动，可以得到图 1-24 所示的结果 7。

7这里展示的只是 matrix_function_backward_sum 函数的子集。完整函数可以从图灵社区本书主页下载。——编者注

{%}

图 1-24：在保持 $\boldsymbol{X}$ 和 $\boldsymbol{W}$ 的值为常数的情况下， $\boldsymbol{L}$ 与 $\boldsymbol{x_{11}}$ 的对应关系

确实，在只变动 $x_{11}$ 的情况下，这种关系看起来很明显。可以看到，此函数在纵轴上大约增加了 0.5（从刚好超过 2.1 到刚好超过 2.6），并且在横轴上大约增加了 2。因此，斜率大约为 $\dfrac{0.5}{2}=0.25$ ，这正是刚刚计算的结果！

复杂的矩阵数学事实上正确地计算了 $L$ 相对于 $\boldsymbol{X}$ 中所有元素的偏导数。此外，可以用类似的方法计算 $L$ 相对于 $\boldsymbol{W}$ 的梯度。

　 $L$ 相对于 $\boldsymbol{W}$ 的梯度的表达式为 $\boldsymbol{X}^{\rm T}$ 。但是， $\boldsymbol{X}^{\rm T}$ 表达式中的因子是从 $L$ 的导数中导出的，考虑到它们的顺序， $\boldsymbol{X}^{\rm T}$ 将位于 $L$ 相对于 $\boldsymbol{W}$ 的梯度的表达式的左侧：
$\dfrac{\partial\Lambda}{\partial u}(\boldsymbol{W})=\boldsymbol{X}^{\rm T}\times\dfrac{\partial\Lambda}{\partial u}(S)\times\dfrac{\partial\sigma}{\partial u}(N)$
因此，尽管代码中出现了 dNdX = np.transpose(X, (1, 0))，但下一步将是：
dLdW = np.dot(dNdX, dSdN)复制代码

而不是之前的 dLdX = np.dot(dSdN, dNdX)。

1.14　小结

学完本章之后，你应该有信心理解复杂的嵌套数学函数，并通过将它们概念化为一系列盒子来解释它们的工作原理，每个盒子代表一个由线连接的单一组成函数。尤其需要注意的是，即使存在涉及二维 ndarray 的矩阵乘法，也可以编写代码来计算这些函数的输出相对于任何输入的导数，理解正确计算这些导数背后的数学原理。掌握这些基本概念，有助于接下来构建和训练神经网络。加油！

上一页：丹阳网站制作要多少钱【域名企业邮箱服务器注册申请办理】丹阳网络优化公司哪家好、丹阳软件开发外包价格、丹阳高端企业网站页面制作设计专业公司、丹阳微信公众号小程序购物支付搭建制作公司

下一页：丹阳申请400电话费用【丹阳企业全国热线电话办理】丹阳开通400电话电信价格、丹阳微信公众号代运营外包托管、丹阳网店编辑装修美工、丹阳网站推广优化大概需要多少钱

丹阳400电话申请开通【丹阳企业网站建设】丹阳微信公众号小程序开发运营价格、丹阳微信公众号APP软件客户端设计运营、丹阳网页页面设计公司费用、丹阳公司网站制作方案流程改版维护大概需要多少钱

1.14 小结

1.14　小结