TensorFlow通过规范总和的比例剪切张量的值

tf.clip_by_global_norm

clip_by_global_norm (  
    t_list ,  
    clip_norm ,  
    use_norm = None ,  
    name = None
  )

定义在：tensorflow/python/ops/clip_ops.py

参见指南：Training函数>梯度剪辑

通过他们的规范的总和的比例来剪辑多个张量的值.

给定一个元组或张量 t_list 的列表,以及一个剪辑比率 clip_norm,,此操作返回 t_list 中所有张量的 list_clipped 和全局范数 (global_norm) 的列表.或者, 如果您已经计算了 t_list 的全局范数,则可以使用 use_norm 指定全局范数.

要执行剪辑,t_list[i] 的值设置为：

t_list[i] * clip_norm / max(global_norm, clip_norm)

当：

global_norm = sqrt(sum([l2norm(t)**2 for t in t_list]))

如果 clip_norm > global_norm ,那么条目 t_list 保持原样,否则它们将被全局的比例缩小.

任何类型为 None 的 t_list 项都将被忽略.

这是执行渐变剪辑的正确方法.

然而,它比 clip_by_norm() 慢,因为在执行剪辑操作之前必须准备好所有的参数.

ARGS：

• t_list：一个元组或混合张量、IndexedSlices 或 None 的列表.
• clip_norm：一个0维 (标量) 张量 > 0,剪辑比率.
• use_norm：一个0维 (标量) 类型浮点型 (可选) 的张量.使用全局的规范.如果不提供, global_norm () 用于计算范数.
• name：操作的名称(可选).

返回：

• list_clipped：与 list_t 具有相同类型的张量的列表.
• global_norm：代表全球规范的0维 (标量) 张量.

注意：

• TypeError：当 t_list 不是序列.