从日志统计到大数据分析.pptx

1、从日志统计到大数据分析 2008：日志统计平台 2011：用户数据仓库 2013：数据源管理 需求响应周期长 运维成本高 运行速度慢 员工个人成长受限基于 Hadoop 的日志统计平台ndaysnminsnnminshours运行时间：开发周期：天级 到 分钟级经过1年半的时间，整个公司的统计任务都统一到了平台小时级 到 分钟级 计算资源需求急剧膨胀 数据质量没有保证 数据价值没有充分利用统一的用户数据仓库InsightDataMartUser Data Warehouse结构化数据文本日志网页搜索网页搜索凤巢网盟网盟知道百科百科凤巢知道全公司所有业务线的用户行为数据统一到一张表，通过用户 I

2、D可以访问到用户在全百度上的所有行为用户IDID01ID02ID03事件类型注册时间国家省份URL登陆搜索数据源混乱 入库周期长 数据时效性低直接从数据源头治理非结构日志源 格式变更影响下游 数据解析效率低 数据内容不可理解结构化日志源（Google Protocol Buffer）：格式变更向前向后兼容 数据解析效率高 数据带有Schema 节省存储和带宽日志源的结构化、传输实时化 查询引擎直接可分元数据审核管理 析源结构化数据 数据源统一管理，覆盖数万台服务器 数据源头产生，既可实时 SQL 分析 数据源很重要 Event 模型很有效 数据采集手段在增强 大数据计算能力的软硬件环境在成熟

3、竞争加剧，整个行业的数据意识在提升 人力成本 时间成本 数据采集能力不足 分析能力比较基础 数据资产顾虑神策分析可以私有化部署的用户行为分析产品私有化部署 全端数据接入 PaaS 平台全端数据接入代码埋点可视化埋点导入辅助工具PaaS 平台BI数据存储层数据传输层数据接入层BI数据存储层数据传输层数据接入层架构实现 适应私有化部署 数据与处理能力完全开放 模型精简，减少 ETL 开销 支持每天十亿级别数据 秒级导入，秒级查询数据流向利用神策的查询开放接口，可以非常容易的:与客户已有的系统进行无缝对接 利用 SQL 引擎扩展已有的分析功能 为合作方提供强大的在线分析能力在线分析搜索优化个性化推荐精准广告用户画像100%文本挖掘反作弊金融电商视频企业服务 在线教育么么直播在线医疗 新媒体健身游戏 互联网 其他神策分析，帮你实现数据驱动！