语音中还有一个对语言理解特别重要的深层因素，即韵律。韵律是与句子被说出来的方式而不是与内容相关的一些现象的总和。韵律包含多种多样的感知线索，包括：

语调轮廓——随着句子被说出，基频上升和下降所构成的轮廓线。

语速——说话者不断变化语速，拉长某些音节，缩短其他音节，在单词间加入停顿，等等。

强度——说话者在说话的过程中改变强度，强调某个特定的单词，弱化其他单词。

对于口语理解来说韵律是极为重要的，因为韵律传递了说话者与他所说的内容之间的关系。在某些情况下，起到了标点符号在书面语表达中的作用。实际上，应该从反方向来看：书面语中的标点符号扮演了口语中韵律所扮演的角色。举例来说，在一个普通的英语疑问句韵律模式中，在句子的末尾基频往上升。而在一个断言句中，基频往下降。在决定什么句子是疑问句时，韵律模式所起的作用往往超过其他因素，例如句法因素。举例来说，句子“You are coming to the party”通过一个上升语调可以用做一个疑问句，对应的书写形式为：

You are coming to the party?

不仅如此，语调的内容比标点符号要丰富得多。基于不同的语调模式，这个句子可以当做一个邀请、一个真的疑问或者表示惊喜。而在书面语中所有这些解释都用问号来表示。

口语中的另一个重要因素是重音。所有的句子都有一个通常使用的典型重音模式，但说话者可以改变重音以便指出什么是重点，或指出对照和更正的内容。语音中的重音通过声音强度的增大、单词的拉长以及使用特定的韵律模式，如在重音单词上基音短促升高来表示。在书面语中，有时重音表示为把单词中的所有字母都大写，例如：

I only took TWO candies.(that is,not three)

我只拿了两颗糖果。(就是说，不是三颗)

I only took two CANDIES.(that is,no cookies)

我只拿了两颗糖果(就是说，没拿饼干)

考虑对问句“Do you own a red car?”（你是否有一辆红色小汽车?)的回答：

No,but I own a red BIKE.

不，但我有一辆红色自行车。

No, but I own a BLUE car.

不，但我有一辆蓝色小汽车。