Ernie.SG 
“The Sound of Stories” 这个项目里，有一件事让我特别兴奋：让用户生成自己独一无二的鼓声，然后把这些声音全部丢进一个嵌入空间，再让他们在现场和另一个人一起，通过 ERAE Touch 这样的互动设备去定位自己的声音 - 滑动、转旋钮等等，把动作映射到潜在空间和数值上 - 找到那个声音在嵌入空间里的“坐标”。然后当他们找到之后，也许现场会有一个巨大的显示屏，把生成那个声音的故事投射出来。我觉得从 A.I. 可解释性的角度看，这会很有意思，有点受到这篇文章和这个视频的启发。当然有趣的转折在于，潜在空间未必能被直接解释 - 但我仍然觉得，这会是一种有趣而有意义的方式，把这些不同的技术在现场编织在一起。
这个设置先说到这里。不过当我在听这个播客的时候，我突然想到，如果我们从第一性原理重建大脑及其与世界的关系，如果我们接受现实的真实本质根本不可知（如柏拉图和康德所暗示的），那么逻辑上似乎就会推导出：生命中的一切都是概率性的。因此，期待这样的系统是确定性的，不仅不合理；A.I. 可解释性也多少像是个转移焦点的问题？从概率和统计的角度看，当 A.I. 大体上能做出良好预测时，我们为什么还要期待它给出更多解释或理由？这几乎有点不公平。另一个同样背负这种额外可解释性负担的领域，可能也只有意识本身的性质了。
如果大脑确实是自上而下运作的，而我们所谓的现实，只是大多数人基于我们对世界所见，以及由文化、环境、信念等塑造的先验，进行贝叶斯推理之后共同认可的受控幻觉。那么，如果我们现在都是贝叶斯推理机器 - 撇开意识问题不谈，任何智能系统的根本测试，也许就只是其预测的准确性；或者再进一步说，是它在多大程度上能够从一套行为库中调动相关行动来达成目标。换句话说，成功本身就是解释，就像科学理论的前进、进步，是通过其预测能力有多好，或一个理论能多大程度减少误差来衡量的。
我们大脑的根本奥秘，它的层级式预测处理，以及从世界获取的信息如何被转化为电化学信号，和当下 A.I. 所谓的“黑箱”其实并没有那么不同。但这不是一个对我们完全不透明的黑箱，因为足够的神经科学、概率和统计，大概已经能为我们接受这些预测机器的本来面貌，以及理解它们的局限，铺好很大一部分基础。
所以，也许 A.I. 可解释性的责任，真的在教育系统身上？
最初发表于 PubPub：erniesg.pubpub.org/pub/6p2l328i。