搜索引擎与宝贝搜索不得不说的故事课件.ppt

1、1感谢你的观看2019年9月21买个买个iphone5iphone5！送女朋友什么送女朋友什么裙子好呢？裙子好呢？手机大甩卖！连衣裙包邮！牛仔裤清仓买一送一！2感谢你的观看2019年9月21数据量大:8亿数据更新量大:2亿天查询量大:3-4亿PV天查询准确率要求高对买家负责，降低查找成本查询召回率要求高对卖家负责，让每个宝贝搜索可达业务逻辑复杂：属性信息远大于倒排信息3感谢你的观看2019年9月214感谢你的观看2019年9月215感谢你的观看2019年9月21淘宝网 2003年商城 2008年一淘网 2012年未来C2CC2C宝贝宝贝C2C宝贝B2CB2C宝贝宝贝C2C宝贝B2C宝贝全网购物

2、搜索全网购物搜索一站式购物体验一站式购物体验发现发现比较比较优惠券优惠券C2C宝贝B2C宝贝全网购物搜索一站式购物体验发现比较优惠券个性化个性化协同搜索协同搜索6感谢你的观看2019年9月21引擎平台统一业务引擎分离业务逻辑分离解决容量速度解决搜索功能7感谢你的观看2019年9月21不断增长的搜索 复杂多变的业务数据量日益增长庞大的属性信息频繁地数据更新灵活的运帷平台每年痛并快乐着的大促（1111/1212）爆发式流量增长和更新量增长8感谢你的观看2019年9月21关联非引擎服务(UPS、QP、Forest etc.)多路数据混排(同构数据、异构数据)搜索结果Rerank其他各种“异想天开”的

3、业务逻辑统一服务入口9感谢你的观看2019年9月21Build插件：允许对建索引的原始文档进行加工分词插件：控制检索粒度QRS插件：改写Query定制业务逻辑、改写结果满足业务需求属性信息定制化：直接使用Attr(price)、简单表达式(price+postage)、插件化(lib.so)Scorer插件：特殊的属性信息定制化功能丰富的配置接口10感谢你的观看2019年9月21高召回率、低响应延时 内存引擎数据量的增长、属性信息的增多带来挑战根据业务需求不断对引擎进行瘦身 倒排信息压缩(P4Delta等)正排信息精确存储(xBits,int8,int16,int32,)正排信息压缩(Grou

4、pVariInt等)正排信息去重(偏移存储)属性信息编码压缩 11感谢你的观看2019年9月21神级性能优化之道Cache奇迹般近乎无损的截断深入理解业务对付频繁更新带来的性能衰减UPI(运维支撑)商品搜索性能杀手正排信息的访问(L1/L2 Cache与RAM的博弈)业务发展永远都是粗旷型的定期Review业务实现常常会有意想不到的收获数据分层12感谢你的观看2019年9月21伟大的Admin集中式管理故障自动恢复多集群管理按需索引分发索引自动切换和更新集群拓扑动态发现13感谢你的观看2019年9月21解决中小商业搜索应用 大量小应用运维 Search as a service 自助式使用搜索 在线修改schema 全流程索引自描述核心技术 HBase Free schema Rank formular14感谢你的观看2019年9月21业务的发展让一起问题回到原点：性能、容量、业务灵活性、集群运维能力等等譬如个性化。（TO BE Continue）搜索问题永无止境，谢谢！15感谢你的观看2019年9月2116感谢你的观看2019年9月21