NLP在豆瓣标签系统的应用解读课件.ppt

1、NLPNLP在豆瓣标签系统在豆瓣标签系统的应用的应用什么是标签标签的作用标签的提取标签的整合总结与思考什么是标签标签的作用标签的提取标签的整合总结与思考什么是标签什么是标签什么是标签什么是标签 一个有意义的片断一个有意义的片断 具有信息量 可被用户理解和使用 相对独立的语法成分：词或短语 文本长度和信息量的平衡文本长度和信息量的平衡 以简要的方式反映较多的内容 由使用和展示方式决定什么是标签什么是标签什么是标签标签的作用标签的提取标签的整合标签的特点标签的作用标签的作用标签预测热点发现用户画像标签推荐什么是标签标签的作用标签的提取标签的整合总结与思考标签的提取标签的提取标题导演主演类型别名剧情

2、简介标签的提取标签的提取小组标题小组简介小组帖子标签的提取标签的提取原始文本标签集中文分词词性标注标签选择词库构建标签的提取标签的提取词库构建外部资源词的独立性内部词库生成候选词条目元信息维基百科/维基字典标签的提取标签的提取 词库构建词库构建 外部资源 元信息词列表 书名，电影名，出版社，作者，译者，歌手，演员，导演 维基百科文本中的实体词 维基字典维基百科中不包含的形容词等标签的提取标签的提取 词库构建词库构建 内部词库 使用N-gram生成候选词 我在豆瓣工作 在豆，瓣工，豆瓣工 豆瓣，工作 计算词的内部独立性 P(豆瓣)P(豆)*P(瓣)计算词的外部独立性 示例示例个么 吗的 我人 人

3、个大我 有是 的里 求的的为 个已 我哪 我租桎梏 揶揄 蹒跚 缱绻袈裟 徜徉 纨绔 憔悴邯郸 霹雳 璀璨 骷髅溶咖 陈奕 豆瓣电速溶咖 百事可 贝叶曼哈 农夫山 潘多国际主 瓣电 邻广陈奕迅 速溶咖啡豆瓣电台 百事可乐贝叶斯 曼哈顿农夫山泉 潘多拉标签的提取标签的提取 词库构建的优点词库构建的优点 无监督/半监督 词典的准确率较高 可以发现新词 符合豆瓣语料的词频分布标签的提取标签的提取 中文分词中文分词 规则+匹配 条件随机场 词性标注词性标注 用词性筛除无实意的候选词 实词：含有实际意义的词语 虚词：没有完整的词汇意义，但有语法功能 名词、动词、形容词 副词、代词标签的提取标签的提取 标

4、签选择标签选择 UGC标签的词频特征 被用户标注过的次数 使用过该标签的用户数 该标签所属的条目数标签的提取标签的提取 标签选择标签选择 TF/IDF TextRank 类似于PageRank 基于图的排序算法 使用窗口内共现作为link 主题模型 精度更高但较为费时什么是标签标签的作用标签的提取标签的整合总结与思考标签的整合标签的整合 合并同义词合并同义词 罗永浩-老罗-罗胖子 豆瓣日志 拉丁文-拉丁语 夏代-夏朝 豆瓣小组 男盆友-男朋友-蓝盆友 -10标签的整合标签的整合 合并同义词合并同义词 实体链接（Entity Linking）相似度计算 外部资源（维基百科等）词共现 其他方法 D

5、NN：word2vec标签的整合标签的整合 标签分类标签分类电影类型电影类型：剧情 动作 爱情 科幻 动画 悬疑 惊悚地区地区：美国 香港 台湾 日本 韩国 英国 法国科技科技：互联网 科普 科学 交互 设计 通信标签的整合标签的整合 标签分类的方法标签分类的方法 词性标注 外部资源 人工工作标签的整合标签的整合 构建标签树构建标签树 扁平结构-层次结构 全局的标签树不依赖于具体的信息源 有助于跨类别的推荐什么是标签标签的作用标签的提取标签的整合总结与思考什么是标签标签的作用标签的提取标签的整合总结与思考总结与思考总结与思考 标签标签 vs 分类分类 multi-label与multi-cla

6、ss 区别：可以为一个对象分配多个标签，而只归于一类 实际应用中：类别是固定的，需要的训练数据更规范 标签预测也可以当做多分类问题来解决 类别不均衡 类的个数过多 新的类别不好处理总结与思考总结与思考 标签标签 vs 文本文本摘要摘要 文本摘要 以自然语言的句子为基本单位 句子合成方法不够成熟 使用和展示的方式有限 用户不大可能写摘要 都是文本长度与信息量的平衡 面向的对象都可以是人(用户)总结与思考总结与思考 标签标签 vs 隐层特征隐层特征 都可以用于推荐 白盒 vs 黑盒 隐层特征(Latent Factor)：可以用标签生成 面向的对象是机器：不具有直接的可解释性 性能可能有提升 维度、计算量分类特征同义词标签树文本摘要自然语言处理外部资源标签选择中文分词词性标注词共现标签维基百科词库构建讨论讨论 非结构化文本信息的挖掘非结构化文本信息的挖掘让机器让机器“理解理解”文本文本 随着互联网的发展，互联网上的文本信息成为了知识获取（维基百科），信息获取（新闻网站）和传播（SNS）的重要途径，而其中大部分都是非结构化的文本信息。为了让机器“理解”文本，需要对互联网中海量的非结构化文本信息进行挖掘，欢迎大家一起讨论非结构化文本挖掘的各项技术，例如网页信息抽取，短文本处理，关系抽取，实体识别等等。谢谢！