双耳录音系统的独特在于其模仿了人类大脑的工作方式。我们大脑的解剖学结构对我们如何理解听到的声音有决定性影响：厚厚的头骨和海绵状的大脑两侧各有一只耳朵，我们听到的声音在不同的时间进入左右耳。如果一只狗在你左耳边叫，则叫声传到右耳需要多花几微秒；一边耳朵听到的也比另一边大声。此外，声波与听者的身体结构——耳廓（或外耳）、头部和躯干——还有周围的空间相互作用，创造出听者专属的声音变化，这些都有所谓的头部相关传输函数。大脑分析这些极小的时间和强度的耳间差别，从而精确地定位声音。

　　习惯上录音有两种方法：单声道和立体声。单声道使用单个话筒采集声音，而立体声使用两支分开放置的话筒。双耳录音在立体声录音的基础上更进一步，在仿真人工头的两侧耳状腔内放置两支话筒。因为仿真人工头重塑了人脑的密度和形状，所以这些话筒捕捉、加工声音就和人耳真是听到的一样，保留了双耳之间的差别信号。使用耳机听时能获得最佳体验效果，左右耳可以听出明显差别。这是一个简单的概念，但是通过高质量的话筒实现、并且使用同等高质量的耳机播放后，效果就很神奇：它能够让大脑相信听到的是直接的声音。
　　这种错觉创造出3D音频，但不要与环绕立体声混淆了。交换这两个术语的概念最能娱乐——甚至有时会惹恼——声学家了。环绕立体声系统使用了多个扬声器，在听者周围创造出360°的声场。比如你在看一场环绕立体声的电影：你看到屏幕一侧发生爆炸，那么影院对应一侧的扬声器就会发出炮火的声音。配置了Dolby Atmos技术（公司最近的技术叠加）的影院有效地全方位包裹住听众。但是双耳音频是通过精确重塑指定场景中你耳朵所听到的声音，不用使用数量众多的扩音器，就能实现更自然的3D声音。
　　您可能会觉得奇怪,为什么叫双耳效应录音,而不就叫立体声录音呢？这里有一个很重要的观念,先要弄清楚它。

　　人在生理上,有两种感官,是基其感觉间的交互差异产生所谓立体感(辨别远近及方向)的,这两种感官,一是眼睛一是耳朵。那么什么是交互差异呢？因为人有两只眼睛一对耳朵,各长在不同的位置,一左一右,左眼看物体的左侧多一点,左耳听左边来的声音快一点,反之右眼看物体的右侧多一点,右耳听右边来的声音快一点,这两个「信号差」即使很小,但是人脑中的「计算机」(虽然不合逻辑,这样说,比较容易懂),便藉此算出被看或发声物体的远近和方向。
　　当然交互差异,只是产生立体感的因素之一,其他因素诸如：经验(平面的画面上,同一物体,画得大便近,画得小便远)、和强度(颜色浓比较近,声音清晰无回音也近)以及视听觉间的互相补助等。但是交互差异却是原始因素,当其他因素消失时(闭着眼睛,辨别一从未听过的声音),原始因素便显得特别重要。
　　我们常用的立体(Stereo)一词,原先便泛指着由双目视觉或双耳听觉所产生的立体感。例如看立体电影或照片所用的镜子,我们叫它Stereoscope,立体声效果录音即称为Stereophonic。
　　当立体声录音方式(Stereo system)如此普遍地被运用于今天的音响系统之前,便是由于发现人之双耳具有一如双目般的功能──亦即双耳听觉效(Binaural hearing effect),才开始立体声录音的尝试。

　　双耳音频在某些录音群体中能够找到归宿：这项技术在广播剧和实验性的声音艺术中就有很好的效果。同时，Lou Reed、Thom Yorke和Imogen Heap这些音乐家都体验过双耳音频的作品。最近，ASMR（自发性感知经络反应）团体正在使用双耳录音，想要触发他们认为可以起到安抚、舒缓作用的身体反应。
　　现在，几乎在电话戏剧终结了一个世纪后，投资者又开始把目光转移到3D音频技术上：索尼的VR耳机项目Morpheus的原型包含了在开发中定制3D音频双耳解决方案。“3D音频增加了现场感，这是我们一直努力在VR中想要实现的视觉感受，”索尼电脑娱乐美国公司的高级研发总监Richard Marks说，“当声音作为视觉的刺激物从同样的方向传来，虚拟体验的可信度就极大增加了。既然完全视觉的VR体验可以实现，那么再加上3D音频就能极大地增强VR体验的效果和深度。”

　　尽管双耳音频存在巨大潜能，但是在VR内容的世界里并没有普及。“在制作内容的时候，音频往往处于次要位置，” Jaunt团队（Jaunt是一个捕捉并创造电影虚拟现实的开发商和一站式服务点，基地在帕洛阿尔托）的首席音频工程师说，“那么多的作品融入了虚拟元素，无论是游戏还是电影，有时候音频只是后来加进来的。但VR作为一个有内容的媒介来说，很重要的一点是，这个媒介从一开始就能够把双耳音频植入在其中，这样内容制作者就很容易使用双耳音频了。”Jaunt保证在他们的平台创作的每一个内容都会出现双耳音频。