TensorFlow贝叶斯熵（contrib）

熵操作

背景

常见的香农熵,证据较低的 BOund(ELBO),KL分歧,更多都具有信息理论的使用和解释.它们也经常用于变分推理.这个库汇集了用于估计他们 Ops,例如使用蒙特卡罗期望。

例子

用 ELBO 拟合变分后验的例子.

#我们首先假设知道关于密度 p(z,x)超过
#潜在变量z和固定测量 x 的对数.由于 x 是固定的,Python 
#函数不会将 x 作为参数.
def  log_joint ( z )： 
  theta = tf.Variable(0.)  #有助于定义log_joint的可修改变量.
  ...

#接下来,定义具有可训练参数的正态分布.
q =distributions.Normal(mu =tf.Variable(0.),sigma = tf.Variable(1.))

#现在,定义一个损失函数(负 ELBO),当最小化时,将调整
#mu,sigma 和 theta,增加 ELBO,我们希望这两者都可以减少
#q(z)和 p(z|x)之间的 KL 散度,并增加 p(x).请注意,我们
#不能同时保证,但一般来说,我们期望两者都会发生.
elbo = entropy.elbo_ratio(log_p ,q,n = 10) 
loss =  - elbo

#最小化损失 
train_op = tf.train.GradientDescentOptimizer (0.1 ).minimize(loss) 
tf.global_variables_initializer().run()
for step in range(100 )： 
  train_op.run ()

Ops

• tf.contrib.bayesflow.entropy.elbo_ratio
• tf.contrib.bayesflow.entropy.entropy_shannon
• tf.contrib.bayesflow.entropy.renyi_ratio
• tf.contrib.bayesflow.entropy.renyi_alpha