请选择 进入手机版 | 继续访问电脑版

网络科技

    今日:87| 主题:284162
收藏本版
互联网、科技极客的综合动态。

[其他] FCN(6)——从CRF到RNN

[复制链接]
红尘醉一宵 发表于 2016-11-29 22:50:34
395 5
前面我们花了大量的篇章介绍了CRF和DenseCRF的内容,下面我们把FCN和CRF串起来。
  CRFasRNN

  前面我们在denseCRF中留了一个小尾巴,那就是unary function。为了让FCN结合起来,这里我们做两个设定:
  
       
  • FCN的结合作为unary function的结果   
  • FCN的结果作为pairwise function中的Q函数的初始值。  
  这样FCN和CRF就连起来了。下面我们还要解决一个问题,就是为什么是CRFasRNN?
  在这篇模型结合的论文中,作者将CRF的求解过程转换成了RNN的形式。由于CRF的求解算法是迭代进行的,因此把算法展开,我们可以将其变成RNN的形式,这里的细节在此就不多说了,大家看看论文基本就能看懂。
  实现

   下面就来看看他的具体实现:  GitHub - torrvision/crfasrnn: This repository contains the source code for the semantic image segmentation method described in the ICCV 2015 paper: Conditional Random Fields as Recurrent Neural Networks. http://crfasrnn.torr.vision/   
  我们先来看看它的prototxt,我们可以用下面这张图表示:
  

FCN(6)——从CRF到RNN

FCN(6)——从CRF到RNN-1-网络科技-function,Random,method,source,论文
  可以看出网络的主体部分是由之前的FCN组成。在前面的FCN中我们没有介绍其实现,这里我们就详细看下它的实现。我们从图的左上角出发,到图的左下角,然后再返回到右上角。前面全部是卷积、relu和maxpooling这几部分,后面是不同scale的结果融合。这里详细地展示了这一部分的维度内容。
  从实现中,我们可以看出一些值得深思的细节。
  首先是一开始的padding=100。为了不让最终的feature map太小,添加一个较大的padding是十分必要的。
  其次就是最后一层的MULTI_STAGE_MEANFIELD,这一层我们需要特别介绍一下,虽然在文章中作者提到了CRF as RNN的概念,但是实际上它的实现并没有用RNN的框架,当然Caffe里面并没有这里可用的RNN。这里是将所有的CRF的内容集成到了一个层中,所以这一层会比较复杂,计算量也比较大,其中的反向传播也比较复杂。
  首先我们将算法的流程图展示出来:
  

FCN(6)——从CRF到RNN

FCN(6)——从CRF到RNN-2-网络科技-function,Random,method,source,论文
  可以看出,这其中的计算主要涉及到两个类别—— MultiStageMeanfieldLayer和MeanfieldIteration,其中的MultiStageMeanfieldLayer类主要负责算法内容的组织,而其中的MeanfieldIteration类主要负责迭代计算过程。这些内容我们都可以从上面的图中读出。
  可以看出这其中的细节除了计算高斯滤波部分的Permutohedral比较复杂,属于超纲内容,其他的部分相对比较好理解。关于Permutohedral部分的细节,有机会我们可以开一个CV系列的文章另行讲解。
  MeanfieldIteration的反向操作实际上并不复杂,只要记得把这些过程拆解成一个个小部分慢慢算梯度就好,而MultiStageMeanfieldLayer的反向操作也只是把MeanfieldIteration的反向结果合并起来,具体细节可以去看看源码,这里我们就不再赘述了。
  到这里,我们已经实现了将CNN和CRF无缝连接起来了。比起之前的单独由CNN组成的FCN,我们已经有了很大的进步。
  到这里,实际上我们花了很大的力气在介绍CRF和无向概率图模型的内容,但是我们终于把这部分的内容讲完了。让我休息一下……
  私货时间

  欢迎加入我爱机器学习7群:467165306!
冯翠玉 发表于 2016-11-29 23:41:46
突然觉得红尘醉一宵说的很有道理,赞一个!
回复 支持 反对

使用道具 举报

xuwenx 发表于 2016-12-4 08:46:06
LZ是天才,坚定完毕
回复 支持 反对

使用道具 举报

123aaa 发表于 2016-12-4 10:29:28
楼主,么么哒!
回复 支持 反对

使用道具 举报

映安 发表于 2016-12-4 13:17:34
我也顶起沙发位
回复 支持 反对

使用道具 举报

开心功夫熊猫 发表于 2016-12-16 15:04:08
站的更高,尿的更远。  
回复 支持 反对

使用道具 举报

我要投稿

推荐阅读


回页顶回复上一篇下一篇回列表
手机版/c.CoLaBug.com ( 粤ICP备05003221号 | 文网文[2010]257号 | 粤公网安备 44010402000842号 )

© 2001-2017 Comsenz Inc.

返回顶部 返回列表