面向大数据的搜索与推荐算法.pptx

1、面向大数据的搜索与推荐算法 本次分享主要介绍面向大数据的机器学习算法在小米搜索与推荐的典型应用 背景：数据驱动使得小米互联网业务以及大数据平台规模得到了持续增长，也助推了搜索和推荐技术的发展Outline 引言 场景 算法 架构 用户隐私小米搜索与推荐引言引言 -Introduction小米 商业模式：硬件+互联网+新零售 触达用户各种场景的产品矩阵和生态系统引言引言 Introduction移动互联网时代的挑战 入口分散化多样化，获取用户成本变高 分散到各个app，不再集中于浏览器 缺乏统一的账号和大数据的积累 用户的数据分散，不互通，不利于为用户提供精准的个性化服务Introduction

2、引言引言小米的优势 海量的内容数据内容数据和用户数据用户数据 统一的账号体系账号体系，数据打通 统一了小米体系内的用户数据，构建立体多维的用户画像用户画像 搜索推荐和广告等多项业务使用 丰富的应用入口入口 移动搜索 、浏览器 、应用商店、有品商城 架构架构搜索+推荐面向大数据的算法场景场景移动搜索推荐搜索提示算法算法 Algorithms移动搜索 为用户提供便捷、个性化的移动搜索服务 覆盖 应用，视频，新闻，问答 等 移动搜索中的关键技术 意图识别 查询分析 相关性计算 排序算法算法 Algorithms移动搜索场景 - 点击模型排序 用户行为大数据，数十亿样本 搜索 浏览 点击 以点击模型为

3、例，介绍使用用户行为数据优化Ranking及搜索体验 Click as implicit feedback算法算法 AlgorithmsCOEC模型 clicks over expected clicks (COEC)注:引用自1点击模型点击模型DBN模型注:引用自1算法算法 Algorithms问答场景 - 语义相似度计算 DSSM模型注:引用自5算法算法 Algorithms问答场景 - 语义相似度计算 C-DSSM 英文输入为例 改进： 词性 位置注:引用自2新闻推荐新闻推荐新闻推荐场景 - CTR预估 大数据 用户画像 用户行为 根据已曝光的结果用户是否点击生成样本 十亿级样本算法算法

4、 Algorithms技术演进 线性模型 LR FTRL FM（两两特征组合） GBDT+LR（有一定高层次特征组合能力） 树模型 GBDT 深度神经网络模型 Wide&Deep DNN DeepFM大数据下的算法performance探讨引用自6Performance面向大数据的算法架构架构架构 Architecture大数据小规模数据12组成数据处理数据处理Spark为主为主MapReduce线上预测线上预测pmmltf-ser ving分布式分布式训练框架：训练框架：tensorflow,lightgbm,自研框架自研框架不同场景下解决方案 点击模型 Spark，Scala实现 GBDT

5、 Spark - lightgbm3 C-DSSM Spark - tensorflow DNN parameter server大数据下的隐私保护大数据隐私保护大数据隐私保护大数据隐私保护 算法需要丰富的数据以提供个性化的服务 推荐 广告 搜索 数据的广泛使用增加隐私泄露的风险 隐私泄露案数量逐年上升 社交网络 酒旅 在线广告 电子商务 配送 .大数据隐私保护大数据隐私保护小米用户数据隐私保护实践 GDPR - 通用数据保护条例 PII数据 Personal Identifier Information 可以通过该数据定位到用户，则该数据被认为是PII imei, phone 等在数据层做加密处理 访问敏感数据需要单独的权限 用户不同意搜集数据的情况 数据做non PII处理 涉及个性化的场景提供降级服务 无法进行邮件的推广谢谢！