20.1 玻尔兹曼机……………………………543 20.2 受限玻尔兹曼机…………………………545

20.2.1 条件分布 ………………………..546

20.2.2 训练受限玻尔兹曼机 . . . . . . . . . . . . . . . . . . . . . . . 547 深度信念网络 ………………………….548 深度玻尔兹曼机…………………………550

  1. 20.4.1 有趣的性质……………………….552
  2. 20.4.2 DBM均匀场推断 ……………………553
  3. 20.4.3 DBM参数学习……………………..555
  4. 20.4.4 逐层预训练……………………….556
  5. 20.4.5 联合训练深度玻尔兹曼机 ………………..558

实值数据上的玻尔兹曼机…………………….561 20.5.1 Gaussian-BernoulliRBM ………………..562 20.5.2 条件协方差的无向模型 . . . . . . . . . . . . . . . . . . . . . . 563

卷积玻尔兹曼机…………………………567 用于结构化或序列输出的玻尔兹曼机 ………………568 其他玻尔兹曼机…………………………569 通过随机操作的反向传播…………………….570

20.9.1 通过离散随机操作的反向传播 . . . . . . . . . . . . . . . . . . 572 20.10有向生成网络 ………………………….575 20.10.1 sigmoid信念网络…………………….575 20.10.2 可微生成器网络 …………………….576 20.10.3 变分自动编码器 …………………….578 20.10.4 生成式对抗网络 …………………….580 20.10.5 生成矩匹配网络 …………………….583 20.10.6 卷积生成网络………………………585 20.10.7 自动回归网络………………………585 20.10.8 线性自动回归网络 ……………………586 20.10.9 神经自动回归网络 ……………………586 20.10.10 NADE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 588 20.11 从自动编码器采样 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 590 20.11.1 与任意去噪自动编码器相关的马尔可夫链 . . . . . . . . . . . 590 20.11.2 夹合与条件采样 …………………….590 20.11.3 回退训练过程………………………591 20.12生成随机网络 ………………………….593 20.12.1 判别GSN ………………………..593

20.13其他生成方案 ………………………….594 20.14评估生成模型 ………………………….595 20.15结论 ………………………………597