【从零开始学习深度学习】39. 梯度下降优化之动量法介绍及其Pytorch实现

Dive-into-DL-PyTorch

%matplotlib inline
import sys

sys.path.append("/Users/somebody/Downloads")

import d2lzh_pytorch as d2l
import torch

eta = 0.4 # 学习率

def f_2d(x1, x2):
    return 0.1 * x1 ** 2 + 2 * x2 ** 2

def gd_2d(x1, x2, s1, s2):
    # 自变量更新x-eta*dx
    return (x1 - eta * 0.2 * x1, x2 - eta * 4 * x2, 0, 0)

d2l.show_trace_2d(f_2d, d2l.train_2d(gd_2d))