【仿生】预测编码与其他认知理论的堆积楼

如题所示。本楼用作堆积认知理论的资料库与讨论内容、整理概要并撰写总结稿的处所。更进一步用作探讨如何构建仿生的、具有思维能力的AI的idea library。但是本楼不堆积详细严谨的新模型构造内容,仅可堆积其链接和简要说明。

先堆积以下预测编码的内容,将来用以撰写总结稿:

1、预测编码网络和推理学习:教程与综述

2、预测编码的局限性与偏向竞争模型

3、預測編碼假說

还需要进一步地搜集偏向竞争模型的内容。

我认为,预测编码和偏向竞争模型,可能是可以协同发挥作用的。未必非要完全排斥其中一种——它们可以在不同功能上以不同的方式组合。

3 个赞

Karl Friston 对于预测编码架构,贝叶斯大脑和变分自由能做了很多阐述工作,他的论文值得一读。

例如论文 Predictive Coding Under the Free Energy Principle 即 Karl Friston, Stefan Kiebel; Predictive coding under the free-energy principle. Philos Trans R Soc Lond B Biol Sci 12 May 2009; 364 (1521): 1211–1221. https://doi.org/10.1098/rstb.2008.0300

The free-energy principle: a rough guide to the brain? 即 Friston K, The free-energy principle: a rough guide to the brain? Trends in Cognitive Sciences, 2009; 13, 293-301

以上两篇我学校的access已经过期了,暂时看不了。但很应该去看。

我找到了其他的一些讨论贝叶斯大脑和变分自由能的文章,如:

https://hub.baai.ac.cn/view/37551

关于大脑与认知,自由能原理告诉我们什么?

变分推断在认知理论中的应用:自由能原理

这些都应当仔细读一读。我不是很熟悉变分自由能和概率分布的相关内容,但很显然自由能原理同时从概率引出“惊奇”和信息熵的关系,进一步与热力学的自由能挂上了钩。变分这种东西看字面上常常是用于求函数极值的,那就是自由能的极值,进而可以与焓熵等热力学量联系。

此外,预测编码神经网络,作为一个可以稳定的系统,必然存在李雅普诺夫函数(作为能量的一种等价物)。很显然损失函数、Friston 定义的自由能和系统的李雅普诺夫函数三者必然相关——前两者已经被阐述为相等的。

2 个赞