Stacked Hourglass Networks for Human Pose Estimation
- 发表版本
- ECCV 2016会议
- arXiv 首次提交
- arXiv:1603.06937
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{featurefusionhourglass2016,
title = {{Stacked Hourglass Networks for Human Pose Estimation}},
author = {Alejandro Newell and Kaiyu Yang and Jia Deng},
year = {2016},
eprint = {1603.06937},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1603.06937}
}
如果你是时常在不同论文间徘徊的开发者,Hourglass 架构就算说不上熟悉,也肯定是不陌生的。我们先快速地介绍一下这个架构:
Hourglass 架构是专为人体姿势估计任务而设计。这个架构通过全面处理和集成所有尺度的特征,致力于最佳地捕捉与人体相关的多种空间关系。研究团队显示,通过将自下而上和自上而下的处理方法重复应用,并结合中间的监督训练,可以极大地提升网络的性能。因此,他们将这一新架构命名为「堆叠沙漏」网络。该网络基于连续的池化和上采样步骤,用于生成最终的预测结果。
这篇论文提出来的时间比 FPN 还要早了半年多,但为什么它们的名气差异如此巨大呢?最直观的感觉就是论文的引用数,截至 2023.08,FPN 引用数为 20816;Hourglass 引用数为 5365。怎么都一样的架构设计,引用数却可以差距四倍之多?
- 等一下,你说它们有一样?
模型架构
我们之前已经聊过 FPN 的话题了,它的架构想必你也很熟悉了。而本次要讨论的 Hourglass 架构,如下:
乍看之下,它们是截然不同的架构,但我们实际来顺着论文的叙述,把这个模型走过一次:
-
捕捉不同尺度的信息
想象你在观察一张图片,上面有一个人的全身。要准确地理解这个人的姿势,我们需要同时关注整个身体以及细节的部分,比如脸部和手部。但这些信息可能位于不同的尺度上。沙漏设计的目的就是能够同时捕捉这些不同尺度的信息。
-
沙漏结构的设计
这个模型的结构就像这个沙漏一样。它由一系列的卷积层(用来提取特征)和最大池化层(用来减少图像的分辨率)组成。这样可以在每个分辨率下保留空间信息,不让细节丢失。
-
上下采样和特征组合
当网络处理完较低的分辨率后,它会开始进行上采样,就像把画面放大一样。同时,它会将不同尺度的特征组合在一起,这样就能够将全身的信息和细节结合起来。
-
最终预测
最后,网络会通过一些处理来生成最终的预测。这个预测是一组热图,就像地图上不同位置的颜色表示不同的特征。这里,网络试图预测在图像中哪些地方存在着人体的关节,比如手肘、膝盖等。
最后第四个部分是属于特定分支领域的应用,先不管他。
我们先把模型架构图重画一次:
绿色框起来的地方,属于 Backbone 的范畴,他做了 N 个阶段的降采样。论文中有提到这里的降采样方式为一连串的卷积层搭配最大池化操作。接着进入上采样的流程,逐层放大特征图的分辨率并相加。图中的 P1~P5 是这篇笔记加上的标签;原论文的沙漏模块各层维持相同通道数,最后另用两层 1×1 卷积产生关节热图。
看到这边,应该很明显了吧?
就以上下采样与同尺度特征相加的方式来看,Hourglass 和 FPN 确实很像呀!
当然,它们的应用场景是不一样的,Hourglass 实际上从图中最高分辨率的那层特征图(P1,原论文为 64×64 输出)产生关节热图,并重复堆叠多个沙漏模块、施加中间监督;而 FPN 并没有特别提到他们堆叠很多层(实际上是可行的),而主要是着重在使用不同分辨率的特征图(P2~P5;RPN 另加 P6),通过不同感受野(Receptive Field)的特征图来达成多尺度目标检测的目的。
那到底为什么这两篇论文的引用数差这么多呢?
其实我们也只能给一个推测的答案,因为应用场景不一样,目标检测比较热门,这是其一。另外一个可能的原因是因为论文叙事的结构:在 Hourglass 的论文当中,主要强调的是「堆叠很多层」和「中间监督」。
Hourglass 的最初?
仔细翻阅 Hourglass 的论文,其实可以找到更早的一篇参考文献,里面有着非常像的结构:
Bottom-Up and Top-Down Reasoning with Hierarchical Rectified Gaussians (2015.07)
在这篇文献中并没有称呼该架构为「Hourglass」,他只是说这是一个「Bottom-Up」和「Top-Down」的架构,以下节录一段论文的原话:
本文主要的目的是为了探索了一种「双向」的结构,同时考虑了自上而下的反馈:神经元受到上层和下层神经元的影响。该文献将通过将神经元视为具有修正的潜在变量,在一个二次能量函数中进行操作,这可以看作是一个阶层修正高斯模型(RGs)的方法。作者展示了 RGs 可以通过一个二次规划(QP)进行优化,而 QP 则可以通过一个具有修正线性单元的循环神经网络进行优化。这使得 RGs 可以使用 GPU 进行优化的梯度下降来进行训练。
欸不是,等等,他这是在说什么?
那试着讲简单一点:
这篇论文探讨了一种新的方法,以更贴近修正的方式处理神经元,就像是对它们进行了微调,使其更适应特定任务。这种方法被应用在一个数学模型中,该模型能够更好地处理图像等数据。研究人员展示了这个方法可以通过解决一个特殊的数学问题来进行优化,而这个问题可以通过一种特殊的循环神经网络来求解。这样的结构使得我们能够在运算中更有效地使用硬件资源。
如果还是看不懂也没关系,反正这不是本文想讨论的内容,别忘了我们只是想要找一下最早提出这个架构的文献而已,下图就是他们所使用的模型架构:
相信看到这个似曾相似的结构,应该也可以认同它与 Hourglass 有关联;Hourglass 论文也引用了它,但前作的上下路径与多次迭代会共用权重,不能当成相同的模块。这真的是最早的架构设计了吗?
实话说,也不一定。
因为比这篇论文再早约两个月:
已经被提出来了,而 U-Net 的多尺度连接的结构其实也是长这样,差别只在于 U-Net 使用 concat 操作。但可惜的是这篇论文没有引用 U-Net,因此也没办法看到作者对于这篇前作的总结与评价。
结论
虽然 Hourglass 和 FPN 是在不同领域中应用的两种架构。
但,他们在特征融合网络的本质其实是一样的,就只是同一种架构的不同用法而已。
在同样的基础架构上,为了去解决不同的问题,进而发展出不同的应用流程。其中,FPN 通过特征金字塔来处理不同尺度的信息,主要用于目标检测和分割等任务。相比之下,Hourglass 网络则通过多层次的结构在不同细节层次上进行特征提取,特别适用于密集预测任务,例如姿态估计等任务。
如果你也曾经对这两个架构的本质感到困惑,那么希望本篇文章可以让你得到解答。