在生理学中，情感信息已经有比较长的研究历史。但是随着计算机的出现以及数字信号处理技术的不断发展，将语音信号的情感信息作为一种数字信号进行应用还没有完全深入的研究和发掘。
语音信号的情感研究领域最早是从对语音理解和语音会话模型开始的。在1990年左右，有研究者试图根据说话人语音信号的韵律特征来判别说话人的情感来建立一个语音会话和理解的模型。这是一种比较早的将情感信息数字化来研究的例子。19906
斯坦福大学Reeves 和 Nass 的研究发现[1]，不论是人机交互还是人和人之间的交流，“情感智能”都是最关键的能力。早在1972 年，威廉姆斯等人研究发现人说话语音的情感变化时，相应语音的基音轮廓会有很大变化，这是国外在语音信号情感研究方面最早的成果之一；卡内基梅隆大学的Dellaert等人[2]通过几种不同的识别算法构建了一个比较早的语音情感自动识别的系统；之后，Thomas Huang等人[3]对双模态的情感识别模型进行了研究；MIT的多媒体实验室构造了一个“情感编辑器”，他通过采集外界各种表征情感的信号进，比如语音信号、人脸表情信号、人体的生理信号来进行各种情感的识别，并让机器根据不同情感做出不同的反应[4]；Maribor 大学的 Vladimir Hozjan 对多种语言的语音情感识别做了研究。
国内也有许多学者在对语音情感识别方法进行研究。东南大学的赵力教授对于语音情感识别的研究比较深入，已有几十年的研究历史，并指导建立了东大语音库以及各类语音情感识别算法；华中科技大学的语音识别与合成的研究也比较成熟，并建立了语音云；许多国内大学也开始对语音信号的情感识别进行研究 语音情感识别的国内外研究现状:http://www.youerw.com/yanjiu/lunwen_11479.html