第三讲语音合成概述课件.ppt

1、第三讲 语音合成概述背景目标基本问题技术历程典型系统第三讲 语音合成概述背景目标基本问题技术历程典型系统背景计算机的普及人机自然语言交互语音合成在人机交互系统中的作用语音合成的其它应用Speech RecognitionNatural Language UnderstandingDialog ManagerSpeech SynthesisNatural Language GenerationInformation DatabaseSpeech InSpeech Out第三讲 语音合成概述背景目标基本问题技术历程典型系统目标“让计算机像人一样说话” 从文字到语音TTS（Text-To-Speec

2、h） 从概念到语音CTS（Concept-To-Speech） 从意念到语音ITS（Intention-To-Speech）现阶段-TTS前瞻性-CTS等待时机-ITS第三讲 语音合成概述背景目标基本问题技术历程典型系统基本问题原因 从语音到文字的信息缺失从文字到语音（TTS） 从文字到发音描述 发什么音 如何发音 从发音描述到语音合成第三讲 语音合成概述背景目标基本问题技术历程典型系统技术历程1937，Voder，Bell Lab.， H. Dudly1962，级联共振峰，KTH，G. Fant1970s，混合共振峰，MIT，D. Klatt1986，PSOLA，F. Charpentier

3、2000s，Unit-selection，N. Campbell & A. Black1970s1980s1990s2000sQualityTimeFormatPSOLAUnit-selection:Segment-orientedUnit-selection:Prosody-orientedExcellent: Human-likedFair: acceptableBad: unacceptable技术历程1937，Voder，Bell Lab.， H. Dudly1962，级联共振峰，KTH，G. Fant1970s，混合共振峰，MIT，D. Klatt1986，PSOLA，F. Char

4、pentier2000s，Unit-selection，N. Campbell & A. Black1970s1980s1990s2000sQualityTimeFormatPSOLAUnit-selection:Segment-orientedUnit-selection:Prosody-orientedExcellent: Human-likedFair: acceptableBad: unacceptable音色，孤立音段音色，孤立音段音色，孤立词音色、韵律，语句韵律，语句第三讲 语音合成概述背景目标基本问题技术历程典型系统典型系统基于单元挑选的TTS系统构成（韵律导向） 两个模块 前端

5、：文本处理，从文字到发音描述 后端：语音处理，从发音描述到语音合成 一个接口，发音描述 数据库，合成单元ParserProsodic Event PredictorPhonetizerProsodic&PhonemiccontextProsodic Acoustics PredictorSegmentAcousticsPredictorUnitSelectionSpeech SynthesizerText NormalizationCorpora:speechphonetic alignment,prosodic parameterDictionary:Lexicon,Rules,Homogr

6、aphInput textInterface Output speechFrontendBackend典型系统例：北京交通大学成立于北京交通大学成立于1896年年。Text Normalization:北京交通大学成立于1896年ParserProsodic Event PredictorPhonetizerProsodic&PhonemiccontextProsodic Acoustics PredictorSegmentAcousticsPredictorUnitSelectionSpeech SynthesizerText NormalizationCorpora:speechphone

7、tic alignment,prosodic parameterDictionary:Lexicon,Rules,HomographInput textInterface Output speechFrontendBackend典型系统例：北京交通大学成立于北京交通大学成立于1896年年。Text Normalization:北京交通大学成立于1896年Parser:北京(npr) 交通(ng)大学(ng)成立(vgo)于(pg)1896年(t) ParserProsodic Event PredictorPhonetizerProsodic&PhonemiccontextProsodic A

8、coustics PredictorSegmentAcousticsPredictorUnitSelectionSpeech SynthesizerText NormalizationCorpora:speechphonetic alignment,prosodic parameterDictionary:Lexicon,Rules,HomographInput textInterface Output speechFrontendBackendPOS (Part Of Speech)典型系统例：北京交通大学成立于北京交通大学成立于1896年年。Text Normalization:北京交通大

9、学成立于1896年Parser:北京(npr) 交通(ng)大学(ng)成立(vgo)于(pg)1896年(t)Prosodic Event: OutPut PWord Layer: 北京 ng 交通 ng 大学 ng 成立于 vg_pg 一八九六年 tOutPut PPhrase Layer: # 北京交通大学# 成立于# 一八九六年OutPut IPhrase Layer: # 北京交通大学成立于一八九六年OutPut Sentence Layer: # 北京交通大学成立于一八九六年ParserProsodic Event PredictorPhonetizerProsodic&Phone

10、miccontextProsodic Acoustics PredictorSegmentAcousticsPredictorUnitSelectionSpeech SynthesizerText NormalizationCorpora:speechphonetic alignment,prosodic parameterDictionary:Lexicon,Rules,HomographInput textInterface Output speechFrontendBackend典型系统例：北京交通大学成立于北京交通大学成立于1896年年。Text Normalization:北京交通大

11、学成立于1896年Parser:北京(npr) 交通(ng)大学(ng)成立(vgo)于(pg)1896年(t)Prosodic Event: OutPut PWord Layer: 北京 ng 交通 ng 大学 ng 成立于 vg_pg 一八九六年 tPhonetizer:北 bei3 京 jing1(BL :北京) 交 jiao1(BL :交通) 通 tong1(BL :交通) 大 da4(BL :大学) 学 xue2(BL :大学) 成 cheng2(BL :成立) 立 li4(BL :成立) 于 yu2(BL :于) 一 yi1(BL :一八九六年) 八 ba1(BL :一八九六年)

12、九 jiu3(BL :一八九六年) 六 liu4(BL :一八九六年) 年 nian2(BL :一八九六年)ParserProsodic Event PredictorPhonetizerProsodic&PhonemiccontextProsodic Acoustics PredictorSegmentAcousticsPredictorUnitSelectionSpeech SynthesizerText NormalizationCorpora:speechphonetic alignment,prosodic parameterDictionary:Lexicon,Rules,Homo

13、graphInput textInterface Output speechFrontendBackend典型系统例：北京交通大学成立于北京交通大学成立于1896年年。Interface: 2 1 2 %0 0 2 %0 ng 2 %0 ng 2 %0 ng 2 %0 0 0 2 %0 vg_pg 2 %0 0 0 2 %0 t 2 %0 0 1 2 ParserProsodic Event PredictorPhonetizerProsodic&PhonemiccontextProsodic Acoustics PredictorSegmentAcousticsPredictorUnitSe

14、lectionSpeech SynthesizerText NormalizationCorpora:speechphonetic alignment,prosodic parameterDictionary:Lexicon,Rules,HomographInput textInterface Output speechFrontendBackend典型系统例：北京交通大学成立于北京交通大学成立于1896年年。Prosodic Acoustic Predictor:GMM(bei3) GMM(jing1) GMM(jiao1) GMM(tong1) GMM(da4) GMM(xue2) GMM

15、(cheng2) GMM(li4) GMM(yu2) GMM(yi1) GMM(ba1) GMM(jiu3) GMM(liu4) GMM(nian4)Segment Acoustic Predictor: occ(bei3) occ(jing1) occ(jiao1) occ(tong1) occ(da4) occ(xue2) occ(cheng2) occ(li4) occ(yu2) occ(yi1) occ(ba1) occ(jiu3) occ(liu4) occ(nian4)ParserProsodic Event PredictorPhonetizerProsodic&Phonemic

16、contextProsodic Acoustics PredictorSegmentAcousticsPredictorUnitSelectionSpeech SynthesizerText NormalizationCorpora:speechphonetic alignment,prosodic parameterDictionary:Lexicon,Rules,HomographInput textInterface Output speechFrontendBackend典型系统例：北京交通大学成立于北京交通大学成立于1896年年。Prosodic Acoustic Predictor

17、:GMM(bei3) GMM(jing1) Segment Acoustic Predictor: occ(bei3) occ(jing1) Unit Selection: argmin cost(sam(bei3),sam(jing1),sam(jiao1),)Corpus: bei3 jing1ParserProsodic Event PredictorPhonetizerProsodic&PhonemiccontextProsodic Acoustics PredictorSegmentAcousticsPredictorUnitSelectionSpeech SynthesizerTe

18、xt NormalizationCorpora:speechphonetic alignment,prosodic parameterDictionary:Lexicon,Rules,HomographInput textInterface Output speechFrontendBackend典型系统例：北京交通大学成立于北京交通大学成立于1896年年。Prosodic Acoustic Predictor:GMM(bei3) GMM(jing1) Segment Acoustic Predictor: occ(bei3) occ(jing1) Unit Selection: argmin

19、 cost(sam(bei3),sam(jing1),sam(jiao1),)Corpus: bei3 jing1Speech Synthesizer:北京交通大学成立于北京交通大学成立于1896年年。ParserProsodic Event PredictorPhonetizerProsodic&PhonemiccontextProsodic Acoustics PredictorSegmentAcousticsPredictorUnitSelectionSpeech SynthesizerText NormalizationCorpora:speechphonetic alignment,

20、prosodic parameterDictionary:Lexicon,Rules,HomographInput textInterface Output speechFrontendBackend后续题目 基础知识 韵律 原理分析 关键技术 数据库构建 文本处理 声学建模 最优搜索/合成器 相关研究 音色调整/转换 HMM合成器 挑战基于数据驱动的韵律建模 Two trainable components: based on an annotated corpus Prosodic event predictor Prosodic parameter predictorprosodic e

21、ventphonetic contextprosodicacoustic modelprosodicparameterprosodic annotationspeechphonetic annotationtextannotated corpusprosodic eventprosodicdescription modelparser, POS韵律功能Prosody structureEx. 1, 已经取得文凭的和尚未取得文凭的干部Ex. 2, 顺天府秋捐归您啦，八旗兵丁一年的赏讨下来了。Ex. 3, 政协十届一次会议主席团常务主席会议审议通过了政协十届一次会议提案审查委员会关于政协十届一次会

22、议提案审查情况的报告草案 (58)IntonationEx. 4, 明天是个晴天,最高气温. (flat)Ex. 5, 明天是个晴天!我们可以. (glad)Ex. 6, 明天是个晴天? (interrogative)AccentEx. 7, 明天是个晴天 vs. 明天是个晴天MoodEx. 8, 明天是个晴天 glad vs. 明天是个晴天 sadprosody is not all for mood, timbre is changed also韵律的声学实现In acoustic, prosody is presented as the variances of pitch durati

23、on intensity pause韵律描述 C-ToBI defined 1st, prosody structure 知觉判断等级与韵律层级结构对应 coming, accent index 汉语韵律层次韵律结构标注，按照语调短语、中间短语、音步/韵律词三个韵律层级，描述每段发音。语调短语（intonational phrase）：具有完整的语调，听感上可独立成句的一段发音音步（foot）：节奏的基本单位，一般由两个或三个音节构成，少数为单音节。韵律词（prosodic word）：所有的句法词具有类似词的连调模式和词重音模式、较短的词组其它凡是属于一个音步的结构跨度为1-4个音节，极大多

24、数为2-3个音节, 少数为单音节和四音节结构。中间短语（intermediate phrase）：介于语调短语和韵律词之间的节奏单元由一个或多个韵律词构成中间短语之间可能存在嵌套结构韵律标注依据听觉进行边界类型的判断，并辅助以特定类型处理的约定听觉判决所依据的线索 基频重置，边界末音节展延，停顿，节奏的变化 需从全局的、层级的角度考察每段发音标注符号 BP2: 用以界定语调短语边界 BP1：用以界定中间短语边界 BP0：用以界定有明显停顿的音步/韵律词间的边界 空格：用以界定音步/韵律词边界 *：用以界定韵律词内的音步边界特定类型约定 位于短语边界的、听感上轻读的、作为短语间过渡的虚词，倾向于

25、划归后一短语 BP0为音步边界，且具有明显的停、顿，倾向于从严标出一个韵律结构标注的例子S1编者 按(BP2)世界上(BP1) 有些事 是 相似的(BP2)甚至(BP0)惊人地 相似S2编者 按(BP2)世界上 有些事(BP1) 是 相似的(BP2)甚至(BP0)惊人地 相似Problem of consistencytrainingacceptable韵律的深层次标注Accent IndexWhat is AI Sample 催眠师有相当的威望体现语义上的着重和聚焦的一种韵律特征Domains:word level: lexical stresssentence level: promine

26、nce, focus, emphasis, accentedWhy is AI neededmore smooth voicemore expressive synthesis voiceAI acoustic realizationrelativity: relative accented/unaccenteduniversal: integrateAI prosody functionNew topicFocusStress pattern (技术/计数)AI初步实验 accent index automatically detecting based on the hierarchica

27、lly prosodic structure prosodic approximation-ratio of the syllable as the indicator, ref. to Xu Yis work prosodic parameters predicted with AI Samples 催眠师有相当的威望课程报告4 语音合成综述及专题阅读现代语音技术-基础与应用第五章，蔡莲红等编著，清华大学出版社，2003王仁华：“语音合成技术最新研究进展及其应用展望” 初敏 http:/ ieee ssw, icassp, speech prosody在线演示科大讯飞 http:/ http:/ （提交：3-31）思考文语转换系统的任务基于数据库的文语转换系统的实现模块要求：参考文献3篇以上，相关分析注明出处报告二，专题报告 （提交：4-14）四个专题选一： 数据库、文本分析、韵律模型、波形拼接/合成器具体算法篇幅要求：2页（5号字）文件命名：学号_姓名_报告名称