丹阳网站推广【丹阳办理400电话】丹阳SEO优化、丹阳微信公众号APP客户端小程序开发、丹阳网站托管、丹阳APP开发

发表日期： 2021-04-27 12:48:00 浏览次数：105

丹阳市，江苏省辖县级市，由镇江市代管，位于江苏省南部，介于北纬31°44′～32°08′、东经119°23′～119°53′之间，总面积1047平方公里。丹阳属亚热带季风气候，具有气候湿润、光照充足、雨量丰沛、无霜期长、四季分明的气候特征。截至2019年，丹阳市辖2个街道、10个镇。常住人口80.63 万人。 [1]

丹阳建置始于战国时期，初为云阳邑。《山海经》中有一条河叫“丹水”，即丹江，根据“山水阴阳，水北为阳”的理论命名丹阳。 [2] 1987年12月，丹阳撤县设市，为丹阳市，由镇江市代管。丹阳市与常州市新北区交界处建有常州奔牛国际机场，沪宁高速公路（G42沪蓉高速）、312国道、122省道、338省道等是通过公路出入丹阳的主要干道，水运有京杭大运河纵贯丹阳，大港港口是对外开放的长江第三大港。 [3]

2019年，丹阳市实现地区生产总值1121.99亿元，同比增长4.7%。 [4] 2018年12月，入选全国县域经济综合竞争力100强，2018中国大陆最佳商业城市100强、中国最佳县级城市30强。 [5] 2019年10月8日，被评为2019年度全国综合实力百强县市。 [6] 2019全国营商环境百强县。 [7] 2019年国家卫生城市。 [8] 2020年12月，社科院发布《全国县域经济综合竞争力100强》，丹阳排名第40 [9] 。

3请在图灵社区本书主页上查看该图的彩色版本。——编者注

链式法则似乎起作用了。当函数向上倾斜时，导数为正；当函数向下倾斜时，导数为负；当函数未发生倾斜时，导数为零。

因此，实际上只要各个函数本身是基本可微的，就可以通过数学公式和代码计算嵌套函数（或复合函数）的导数，例如 $f_{1}f_{2}$ 。

从数学上讲，深度学习模型是这些基本可微函数的长链。建议花时间手动执行稍长一点的详细示例（参见 1.5 节），这样有助于直观地理解链式法则，包括其运行方式以及在更复杂的模型中的应用。

1.5　示例介绍

仔细研究一条稍长的链，假设有 3 个基本可微的函数，分别是 $f_{1}$ 、 $f_{2}$ 和 $f_{3}$ ，如何计算它们的导数呢？从前面提到的微积分定理可以知道，由任意有限个“基本可微”函数组成的复合函数都是基本可微的。因此，计算导数应该不难实现。

数学

从数学上讲，对于包含 3 个基本可微的函数的复合函数，其导数的计算公式如下：

$\dfrac{{\rm d}f_3}{{\rm d}u}(x)=\dfrac{{\rm d}f_3}{{\rm d}u}(f_2(f_1(x)))\times\dfrac{{\rm d}f_2}{{\rm d}u}(f_1(x))\times\dfrac{{\rm d}f_1}{{\rm d}u}(x)$

仅仅看公式不是很直观，但相比 1.4 节介绍的 $\dfrac{{\rm d}f_2}{{\rm d}u}(x)=\dfrac{{\rm d}f_2}{{\rm d}u}(f_1(x))\times\dfrac{{\rm d}f_1}{{\rm d}u}(x)$ 适用于长度为 2 的链，两者的基本逻辑是一样的。

示意图

要理解以上公式，最为直观的方法就是通过盒子示意图，如图 1-10 所示。

图 1-10：通过盒子表示法理解如何计算 3 个嵌套函数的导数

使用与 1.4 节中类似的逻辑：假设 $f_{1}f_{2}f_{3}$ 的输入（称为 $a$ ）通过一根线连接到输出（称为 $b$ ），则将 $a$ 改变较小量 Δ，将导致 $f_{1}(a)$ 变化 Δ 的 $\dfrac{{\rm d}f_1}{{\rm d}u}(x)$ 倍，进而导致链中的下一步 $f_2(f_1(x))$ 变化 Δ 的 $\dfrac{{\rm d}f_2}{{\rm d}u}(f_1(x))\times\dfrac{{\rm d}f_1}{{\rm d}u}(x)$ 倍，以此类推，直到最终表示变化的完整公式等于前一个链式法则乘以 Δ。请仔细思考上述解释和图 1-10 中的示意图，无须花费太长时间。在编写代码时，这一点会更容易理解。

代码

在给定组合函数的情况下，如何将本节中的公式转换为计算导数的代码呢？我们可以在这个简单的示例中看到神经网络前向传递和后向传递的雏形：

def chain_deriv_3(chain: Chain,
                  input_range: ndarray) -> ndarray:
    '''
    使用链式法则来计算3个嵌套函数的导数：
    (f 3(f 2(f1)))' = f 3'(f 2(f 1(x))) * f 2'(f 1(x)) * f 1'(x)。
    '''

    assert len(chain) == 3, \    "This function requires 'Chain' objects to have length 3"

    f1 = chain[0]
    f2 = chain[1]
    f3 = chain[2]

    # f1(x)
    f1_of_x = f1(input_range)

    # f2(f1(x))
    f2_of_x = f2(f1_of_x)

    # df3du
    df3du = deriv(f3, f2_of_x)

    # df2du
    df2du = deriv(f2, f1_of_x)

    # df1dx
    df1dx = deriv(f1, input_range)

    # 在每一点上将这些量相乘
    return df1dx * df2du * df3du复制代码

注意，在计算这个嵌套函数的链式法则时，这里对它进行了两次“传递”。

“向前”传递它，计算出 f1_of_x 和 f2_of_x，这个过程可以称作（或视作）“前向传递”。
“向后”通过函数，使用在前向传递中计算出的量来计算构成导数的量。

最后，将这 3 个量相乘，得到导数。

接下来使用前面定义的 3 个简单函数来说明上面的方法是可行的，这 3 个函数分别为 sigmoid、square 和 leaky_relu。

PLOT_RANGE = np.range(-3, 3, 0.01)plot_chain([leaky_relu, sigmoid, square], PLOT_RANGE)plot_chain_deriv([leaky_relu, sigmoid, square], PLOT_RANGE)复制代码

图 1-11 显示了结果。

{%}

图 1-11：即使使用三重嵌套函数，链式法则也有效4

丹阳网站推广【丹阳办理400电话】丹阳SEO优化、丹阳微信公众号APP客户端小程序开发、丹阳网站托管、丹阳APP开发

上一页：丹阳微信公众号开发【丹阳网络推广】丹阳建站、丹阳网站维护、丹阳网页制作、丹阳微信小程序代运营公司

下一页：丹阳400电话办理【丹阳网站公司】丹阳百度优化、丹阳域名注册、丹阳网店美工、丹阳微信公众号托管

丹阳网站推广【丹阳办理400电话】丹阳SEO优化、丹阳微信公众号APP客户端小程序开发、丹阳网站托管、丹阳APP开发

1.5 示例介绍

数学

示意图

代码

1.5　示例介绍