大数据平台产品建设和应用课件.pptx

1、大数据平台产品建设和应用1. 1. 大数据概述大数据概述2. 2. 大数据平台建设大数据平台建设3. 3. 大数据平台应用大数据平台应用目 录ContentsPart 1大数据概述大数据：成为国家战略十三五规划纲要提出实施国家大数据战略，把大数据作为基础性战略资源，全面实施促进大数据发展行动，加快推动数据资源共享开放和开发应用；2016年3月18日2016年8月31日江苏省政府关于运用大数据加强对市场主体服务和监管的若干意见提高政府运用大数据能力；推动简政放权和政府职能转变；提高政府服务水平和监管效率，降低服务和监管成本；2015年9月5日国务院2015年7月1日国务院促进大数据发展行动纲要大

2、力推动政府信息系统和公共数据互联开放共享，加快政府信息平台整合；以企业为主体，加大大数据关键技术研发，着力推进数据汇集和发掘，深化大数据在各行业创新应用；大数据成为国家战略江苏省大数据发展行动计划工信部、发改委大数据实例：中国电信海量数据携程、途牛、去哪儿、同程、美团等月上网总量5.02亿条/月手机定位7亿条/天上网搜索、浏览、点击等行为数据100亿条/天海量数据实时获取GPS定位500万/天次海量数据覆盖人口固定电话2000万用户家庭、公共景区WiFi使用者90%以上IPTV用户600万政府大企业200万全省网民6500万手机用户2300万10T 仅江苏省每天数据量仅江苏省每天数据量江苏电信

3、数据现状n 容量大（Volume）：江苏电信数据总量已达10P+，日均产生网络日志数据10T+、话单数据1T、n 类型多（Variety）：包括位置信令数据、用户网络数据、呼叫记录数据、终端数据、视频数据、n 存取速度快（Volecity）：海量数据的快速产生、快速存储、快速使用n 应用价值高（Value）：最真实的客户、产品、资源和订单等数据；最详实的用户行为数据电信用户基本数据号码身份信息缴费信息消费信息移动位置数据基站信息移动信息滞留信息信令数据主叫信息被叫信息IP信息位置信息终端数据Mac地址终端ESNAPP信息网络日志数据移动固网源地址目的地IP目的地URL用户触点数据10000网厅

4、大数据特征大数据是以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合，正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析，从中发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态。大数据行业生态图谱 大数据的核心-企业技术大数据基本上就是管道设施的一种。大数据为许多消费者或商业用户体验提供了动力，但它的核心是企业技术：数据库、分析等。 大数据的关键-无缝集成大数据的成功不在于实现技术的某一方面（像 Hadoop、spark等），而是需要把一连串的技术、人和流程糅合到一起。 大数据的构成-多层递进大数据基础设施日益完善，大数据分析BI平台普遍成熟，大数据应

5、用层正在快速构建。大数据思维-数据范畴信息管理 坚实的信息基础 标准化的数据管理实践 可获得并且可用的洞察力分析技能和工具 作为核心专业而发展的技能 通过一套可靠的工具和解决方案而实现 培养面向行动的洞察力面向数据的文化 基于事实的领导力 用作战略资产的分析技术 洞察力知道的战略和运营管理数据理解数据使用数据企业必须掌握三项分析技能才能实现竞争优势大数据思维-三原则小数据大数据抽样数据、局部数据和片面数据用全体代替抽样统计抽样的局限性精准性用数量代替精确拥抱混杂性：容错性更强经验、假设和价值观用相关性代替因果性知道是什么比知道为什么更重要大数据角色业务人员业务用户：提出业务需求，并制定优先级业

6、务分析师：有较深的行业业务知识，通过分析业务数据提供决策支持数据科学家：具有专业领域知识、统计分析背景和计算机技术基础，从数据中挖掘有效信息以解决业务深度分析需求机器学习专家：具有统计学思维、丰富的编程和数据建模经验，通过开发算法进行业务分析和预测技术人员平台/系统架构师：软件工程师背景，对大数据、云计算有较深的理解，负责技术选型和实现流程数据工程师：负责数据的采集、存储、处理IT/运维人员：负责平台的开发、部署、运营、发布、管理和监控大数据时代，解析海量难以理解的信息足以导致改变世界的革新。但真正理解这些数据，需要各个方面专业人士。大数据思维-角色划分p 数据仓库数据源不断扩大（新增互联网非

7、结构化数据等），数据量由TB级向PB级增长p 几乎所有互联网企业都在业务或分析系统中采用了大数据(特别是Hadoop数据分析技术），一方面应对不确定的业务增长和处理各种结构化与非结构化数据，另一方面降低采购和运维成本。采用Hadoop大数据平台的互联网企业如国际上的Facebook、亚马逊（Amazon）、ebay等，国内的淘宝、阿里巴巴、京东、苏宁云商、百度、腾讯、优酷等p 电信运营商包括国际上的AT&T、Vodafone等，国内的中国电信、中国联通、中国移动也已经引入了hadoop大数据平台谁在使用大数据？调研报告-大数据使用和分析的目标53%关注客户40%关注运营7%关注财务全球企业使用

8、数据和分析的目标获得客户和提升体验运营销量财务和风险管理使用数据和分析使用数据和分析改进客户体验59%关注客户34%关注运营7%关注财务中国区使用数据和分析的目标获得客户和提升体验运营销量使用数据和分析使用数据和分析改进客户体验调研报告-大数据来源企业主要使用内部数据源开展大数据举措 交易 日志数据 事件 电子邮件88%57%73%59% 社交媒体 传感器 外部来源 RFID扫描或 POS数据 自由格式文本 地理空间 音频 静态图像/ 视频41%41%42%42%43%40%38%34%调研报告-大数据基础设施（平台） 信息整合 可扩展的存储基础架构 高容量数据仓库 安全与治理65%64%59

9、%58% 脚本与开发工具 列存储数据库 复杂事件处理 工作负载优化 分析加速器 Hadoop/MapReduce NoSQL引擎 流计算54%51%45%45%44%42%42%38%受访者大数据基础设施的组件信息整合是任何分析项目的关键组成要素，对大数据来说，它甚至更加重要。企业的数据必须随时可被需要数据的人员使用和获得。调研报告-大数据分析能力（应用） 查询与报表 数据挖掘 数据可视化 预测建模 优化65%67%71%77%91% 模拟仿真 自然语言文本 地理空间分析 流分析视频分析语音分析35%43%52%56%25%26%受访者采用多种高级分析技能Part 2大数据平台建设人在干、数在

10、转、云在算把握数据灵魂找准应用抓手夯实能力基础风险防控 舆情分析 行为预测 电信自有数据+业务应用数据政务+教育+医卫+交通+旅游+基础设施能力云网融合关键业务能力安全服务运营保障能力运营支撑云计算云计算强调的是底层基础设施的资源复用，让资源的能力尽量发挥出来。大数据大数据是主要面向业务，业务需要什么样的构架，大数据就要有相应的平台、技术和构架。智慧的医疗智慧的市民服务智慧的公共安全智慧的交通实时路况发送公交到站提醒通畅路线规划远程会诊智慧处方临床决策系统犯罪信息挖掘突发事件响应高危位区域统计、预警智慧的公共事业智能用电分析环境状况分析预测水处理/水资源管理智能就业匹配政策舆情分析商品优惠客户

11、匹配全面感知充分整合智能处理协同运作精确管控创新应用政务大数据需求外部数据源内部数据源互联网移动互联网物联网社交媒体等政府部门资料信息及相关系统：经济运行、产业、投资、消费、能耗、交通、电力、装备、中小企业等舆情评论社交关系实时位置旅游度假城市车位使用企业大数据需求助力运营大数据挑战-客户分析全流程567891234项目是为了实现哪个业务目标？如何表达成功（通过哪些数据）？您需要分析哪数据，哪些数据具有相关性您有哪些数据，缺乏哪些数据，哪些数据具有相关性您需要哪些沟通能力来实施您的研究结果，并实现公司战略？您需要采取哪些行动？这些活动与哪些客户和产品相关？您选择哪些沟通渠道？您在哪些方面成功(

12、包括响应能力和业务绩效的衡量和反馈)？客户分析举措的治理检查表数据源多种多样数据存储代价高昂数据资产缺乏有效管理数据价值缺乏有效利用用管存收大数据挑战59%59%数据自然流失 70%70%数据过于复杂85%85%企业数据架构无法适应数据量和复杂性增长的需求 98%98%企业无法及时、准确地为业务提供正确的信息性能灵活共享价值安全关注要素大数据关注要素p 关键功能点 多级团队管理 资源开通和隔离 数据安全和隔离 程序管理和调度 数据查询分析 数据开放共享 数据隐私保护数据应用层数据应用层数据共享数据共享层层数据存储数据存储与分析层与分析层数据采集层数据采集层任任务务调调度度与与元元数数据据管管理

13、理安全、权限与监控安全、权限与监控搜索搜索报表OLAP其它数其它数据接口据接口DBRedisHBaseOtherFile/ftp/http实时计算实时计算（Storm/Spark Streaming)MRHiveSparkSparksqlHDFSFlumekafka网站日网站日志志ftp/httpMysqlOracleOtherDrillAD-HOCsqoopKylin批处理批处理抽取程序依据数据特性和应用特点，建立批处理和实时计算的大数据平台系统架构1收2存4用3管大数据系统架构-Hadoop方案电信大数据定位基础设施提供商 数据产品与能力提供商 分析技术提供商 业务应用提供商 大数据使用者

14、 基础设施提供商数据和分析提供商业务应用提供商数据标签 位置信息 趋势预测 精准营销 咨询报告我们能做什么观云大数据产品观云大数据应用大数据管理数据地图数据开发生产部署调度管理数据管理系统管理数据交换大数据存储数据批处理数据实时处理大数据收集结构化数据实时数据非结构化数据大数据分析BI分析可视化大数据挖掘机器学习决策支持观云提供大数据一站式解决方案，帮助客户收集、存储、管理、使用（分析和挖掘）相关数据，提升客户业务支撑水平。观云基于成熟的大数据开源技术（hadoop/spark），结合鸿信大数据团队的技术特长和项目实施经验，形成了具有自主知识产权的大数据软件产品。观云概述大数据源日志数据大数据

15、集群大数据文件结构化数据多媒体数据 实时收集 实时毫秒级不间断采集数据，并存入大数据集群 批量收集 按小时、日、周、月等时间周期，批量采集各类数据，存入大数据集群大数据收集非结构化数据实时数据数据流观云-收集小型机光纤交换机存储阵列网络交换机X86服务器数据库软件（ORACLE/DB2等）大数据软件（Hadoop/Spark）成本显著降低同等存储和计算能力，软硬件综合成本最低仅需10%架构健壮扩展灵活Volume海量支持GBTBPB各种量级数据存储和运算，实现海量数据并发管理。 Variety多样轻松处理结构化和非结构化数据，包括Web语音图像视频等数据。 Velocity实时实时&流式处理，

16、支持海量数据的毫秒级运算。Scale规模适用小中大各种规模，可根据数据发展情况灵活、快速扩展集群：几台-千台。实时处理高效迅捷不同数据同地存储海量数据轻松存储观云-存储数据资产管理1分门别类观云-管理分散各处，杂乱无序各取所需一点汇总，整齐统一数据血缘管理2寻根溯源关系不清，野蛮生长枝繁叶茂，欣欣向荣正本清源团队和资源管理3观云-管理开发工具管理4五花八门，参差不齐僧多粥少，山头众多团队1团队2管理灵活，合理调配核心自主降低门槛统一规范，提升效率削峰填谷合作无间数据安全管理5观云-管理IPIP和工和工具限制具限制函数函数授权授权用户用户审计审计数据表数据表授权授权4大安全保障字段字段加密加密数

17、据数据分级分级2重隐私保护处理效率显著提升2应用名称应用名称数据量数据量本地集市耗时本地集市耗时( (分分钟钟) )大数据平台耗时大数据平台耗时( (分钟分钟) )效率提效率提升升天翼、快销品到达及净增统计上亿级501374%天翼、快销品、4G新装统计上亿级541572%宽带日统计千万级10460%4G产品清单统计千万级241058%天翼快销品清单统计上亿级341168%根据现有产品实例表作的宽表上亿级1214563%天翼单产品合约统计千万级321263%后付费宽带超期缴费统计百万级472057%指定账目收入统计千万级532357%应收账款月统计上亿级792075%出库终端匹配月统计千万级61

18、2166%对比大数据平台和传统数据库处理效率，发现效率提升60%左右，而且数据数量级越大，效率提升越高。多团队支撑能力1架构灵活，可以支撑不同的团队基于企业数据进行分析挖掘，实现了资源的充分利用和数据的高效共享。ABCD观云-使用3丰富的可视化展现提供海量数据的批量和实时分析、图形化操作、丰富的可视化展现，帮助客户轻松自如地完成数据分析、业务数据探查，提升数据化运营水平。实时监控大屏展现图表结合界面展现用户自定义界面展现实景地图展现观云-使用提供大数据存储、计算、安全、工具和服务等基础设施及一站式解决方案，可根据客户需求进行个性化定制。使用廉价的X86服务器（新增或利旧）组建大数据平台，极大地

19、降低建设成本，最低仅需传统投资成本的10%。架构先进，适用小中大各种规模，可根据业务数据增长情况灵活、快速扩展。提供客户数据+电信标签的能力，助推客户业务拓展水平跃升。电信级的实施团队，电信级的管理规范，经过电信内部多年使用的考验。通过灵活高效的管理，开放的大数据解决方案，助力客户业务服务水平的提升。观云差异化优势科研情况：支持所有主流大数据批处理(hadoop)、实时处理(spark)技术，秒级同步百万条记录；秒级处理TB级别数据，小时内部署百节点规模的大数据集群；100+数据业务挖掘模型，50+并行化数据挖掘算法；完整的大数据解决方案供应商，产品线全面覆盖基础平台、数据应用和可视化各个层次

20、。成果展示：鸿信公司累计获得软件著作权48项，专利11项；省市以上奖项12项；获得资质包括计算机信息系统集成一级、CMMI5、ISO9001：2008等。团队组成团队规模80人，数据仓库及大数据行业从业经验7年以上；与国内领先企业、高校建立广泛的合作关系和联合研发团队。项目经验成功实施500万+级项目7个，200万+级项目5个，100万+级项目6个，30万+级项目9个；涉及运营商、社保、交通、教育、财政等多个领域。精英团队成熟经验前端科研丰硕成果观云大数据团队p 江苏电信大数据汇聚与共享平台建设大数据基础平台，支撑电信大数据存储和计算：PC SERVER总计200+台，硬件金额合计：500W+

21、;获得可用存储：3PB+，可用内存10T+，以及良好的扩展性；实现了话单数据处理从传统数据仓库向大数据平台的迁移；实现了上层应用分析从传统数据仓库向大数据平台的迁移；基于Hadoop平台实现了DPI、信令等数据的准实时处理；基于观云处理，实现多团队灵活入驻：入驻大数据分析团队30+，进行大数据应用分析40+，活跃开发用户280+等；企业数据应用门户经营风险管控数据应用DPI、信令等外部数据非结构化数据ETL平台（分布式ETL）Hadoop分布式集群数据批处理海量结构化数据：话单信令非结构化数据：DPI流处理流式数据：信令AAA认证大数据基础平台ODS传统结构数据准实时处理EDW传统结构数据批量

22、处理数据集市数据储存与处理大数据汇聚共享平台开放共享开发利用安全管理数据交换MSSBSSOSS业务平台结构化数据CSSCMS数据应用数据服务封装客户行为分析数据服务经营分析集市营销维系集市本地应用集市客户行为集市30+分析团队40+专题应用280+开发用户1000+数据表800+流程部署专业资深的应用团队覆盖广泛的服务客户不同领域的数据挖掘规模庞大的共享数据变革创新的行业领域观云大数据平台案例2.4 成效一：团队能力拓展成效一：团队能力拓展成效一：构建电信大数据开放生态圈双百兆营销移动客户画像数据稽核30+分析团队40+挖掘模型流失预警模型快递员模型信用评估模型省级对内应用类经营分析团队财务数

23、据分析团队经营风险管控团队 .分公司应用类南京数据分析团队苏州数据分析团队无锡数据分析团队 .对外应用类百度ID团队尼尔森团队青稞团队 .基于开源大数据技术，构建电信大数据开放生态圈，实现对内对外的数据能力开放，目前已面向号百、已面向号百、NOC、终端公司、公信公司和分公司开放能力，终端公司、公信公司和分公司开放能力，初步实现与外部多个行业进行大数据产品开发与运营的协作模式。399个个南京：对399个重点区域的基站进行优化优省2.5 成效二：对内支撑企业规模发展降本增效成效二：对内支撑企业规模发展降本增效10%南京：优化后每个基站增加约10%用户150万元万元 基于大数据分析，开展客户价值导向

24、的4G网络建设和优化，提升4G用户体验，提高网络投资成本收益率4G基站优化成效显著基于大数据分析，对低流量用户进行分群和特征刻画，采用针对性营销，提升用户活跃率，规避业务风险流量经营营销成效显著基于大数据分析，开展流量经营各项精确营销支撑工作，针对性营销辅导，推荐流量产品收益1.79亿，占流量产品收入29.6%后向流量收入持续增长647波次波次全省累计发起营销辅导647波次1.79亿亿元元翼起来客户端推荐业务直接效益155M辅导81.8万低流量用户，户均提升达155M166万万成功推荐下载应用156万万徐州：月均提升流量17318G，月均提升流量收入151万万元元，年增收1248万万元元镇江：

25、月均提升流量8466G，月均提升流量收入104万元万元，年增收1812万元万元苏州：发现5个闲置4G基站 * 每个30万元建设运营成本，共计节省150万元成效二：对内支撑企业发展降本增效成效三：对外支撑行业应用拓展建设云计算平台+大数据平台，提升高校在大数据经济统计、电子商务、数据挖掘、社会网络分析、推荐系统、云计算、三维可视化和物联网等方面的研究水平。p 多模态舆情与决策支持系统的研究汇集互联网中的海量舆情信息，对其进行深度分析，提供舆情报告并实时推送敏感信息，为舆情监测、预警、干预等提供决策支持。p 大规模社区抽取的研究通过搭建一个基于hadoop分布式平台的BSP计算模型来并行处理数十亿

26、节点的社交媒体数据，研究基于数据分片的社区抽取算法，建立数据索引以及分片之间计算和存储的负载均衡问题。p 大规模复杂网络社区发现的研究拟采用基于Spark框架的内存计算技术。p 农业环境监控信息p 经济统计数据库建设让教师在从事科研时能迅速便捷地找到有关的信息资料，有良好的数据处理工具，并保证这些工具的合法性及其分析结果的可靠性。让学生有机会了解学科动态，接触前沿研究方法。建立良好的科研环境，包括管理人员优质的服务，计算机良好的运行状况和可靠的软硬件技术支持系统等。高校教学科研大数据平台人社大数据平台建设项目建设包括大数据基础平台建设和两个业务分析系统建设。p 社保大数据应用基础平台社保大数据

27、应用基础平台拟采用传统数据仓库+分布式数据存储计算框架的混合模式，包括数据采集、数据存储处理、数据汇聚共享三大模块。p 社保统计分析系统根据统计分析系统设计要求，结合业务部门实际需求，设计开发各类可定制化的条件查询统计汇总功能。p 养老保险关联分析系统按关联分析系统设计要求，建立指标体系，从多维结构化的角度处理对企业养老保险基金产生影响的政策、宏观经济方面的因素，为进一步挖掘事件与社保基金之间的深层关系打好基础。Part 3大数据平台应用人车路交通的参与者（驾驶员、行人、乘客、居民）出行OD、停留时间、人口分布、交通工具、异地通勤、交通负荷、事件分析、政策评估道路交通的主要载体车辆管理、行车路

28、线规划、行车轨迹分析交通的重要组成部分交通路况、路况预测、物流园区周边路况负荷评估数据服务实时交通路况评测道路信令数据Saas应用实时路况行车轨迹OD分析咨询报告交通规划咨询交通事件评估人口交换评估交通大数据应用 国家大数据发展格局已形成； 基于用户位置信息的数据价值得到交通部、规划院认可； 运营商大数量价值已经开始变现； 各地交通部已着手调研利用手机信令进行路网监测。 运营商品牌效应; 运营商数据资源全面、多维、中立； 可实现不同维度数据交叉关联； 具有多种定位手段，数据价值高； 汇聚海量电信用户位置数据。优势优势Strengths机会机会Opportunities南京-镇江江宁区江宁区玄武

29、区玄武区溧水县溧水县栖霞区栖霞区润州区润州区丹徒丹徒区区京口京口区区句容市句容市通勤人口特征分析通勤量分析通勤距离分析通勤目的地分析通过多月手机信令数据，分析手机用户每日的出行轨迹，总结规律，识别其夜间稳定点做为居住地、其白天工作时段稳定点做为工作地，并剔除不通勤用户的干扰，获取主城的居住地与岗位分布。通勤分析数据清洗停留点提取停留点分析删除重复位置信息；剔除乒乓切换；剔除超速数据。合并邻近基站；筛选停留点。停留点特征分析；标记停留点类别（居住、工作）。出行OD产品基于中国电信用户海量位置信息，抽取用户出行起点、终点，对特定人群进行出行活动行为分析；大数据出行OD产品可取代传统居民出行、道路交

30、通等调查手段，通过智能方式实现出行OD调查；基于位置信息的出行OD产品可应用于城市交通道路规划、政策评估、城市公交规道交通规划等场景。01城市规划人流OD分析城市功能分区城市空间分布职住分布通勤关系迁移关系03城市政策评价城市间人口迁徙城市内人口出行城市间异地通勤02城市交通规划城市公交站点城市地铁站规划区域人口出行应用场景OD（出行交通量）“O”来源于英文ORIGIN，指出行的出发地点；“D”来源于英文DESTINATION，指出行的目的地交通大数据应用OD分析出发地：南京 与镇江、滁州联系最紧密050100150200250010000200003000040000500006000070

31、00080000镇江市滁州市常州市扬州市淮安市无锡市苏州市上海市马鞍山市出行量（人）平均时间（min）城际OD分析直观上看，中心城区（11、12、13、8）是外地-南京出行最密集的地区，主要是南京的商业和公共服务的集聚区。城际OD分析目的地来源地目的地：从新街口去往各个区县的人来源地：指从其他区县进入到新街口区域的人在新街口停留一个小时以上算有效用户，夜间在其他区县停留3个小时以上判断为来源地在新街口停留一个小时以上算有效用户，分析这些用户夜间居住在哪里？市内OD分析新街口客流来源、去向市内OD分析夫子庙客流集散49 交通方式及换乘分析收集区域内所有（含各区县）火车站、机场、汽车站、收费口的基

32、站与信令数据，并结合用户出现在这些交通枢纽前后的位置信息，将用户的城际交通方式归类为“铁路”、“民航”、“客运”、“自驾”流入流出交通方式分析l用户出现在客运站（剔除常驻人口）l用户在进客运站一个小时之前的前一个小时内无市内信令切换记录l用户在客运站最后一条信令后一个小时之后的后一个小时内有市内信令切换记录l根据用户进入城市的轨迹与长途汽车路线进行匹配l用户出现在客运站（剔除常驻人口）l用户在进客运站一个小时之前的前一个小时内有市内信令切换记录l用户在客运站最后一条信令后一个小时之后的后一个小时内无市内信令切换记录l根据用户离开城市的轨迹与长途汽车路线进行匹配进站分析出站分析以南京南站为研究对

33、象，利用大数据技术，将手机信令、漫游数据、用户标签数据、探针等多种数据资源信息进行融合，并在此基础上对南京南站的集疏运换乘功能进行研究，形成宏观的分析报告，为南站的服务以及管理改进提出优化方案，促进南站周边经济圈的开发。案例：南京南站交通枢纽集疏运大数据管理优化l 根据分析提供的南站各种交通方式的客流信息、换乘波峰波谷时间段，为引导乘客选择最优出行路线以及最佳出行时间提供理论依据。l 通过对南站周边五公里道路路况以及来源目的地分析，为南站周边道路上的车辆导流提供理论依据，也为交通路网规划提供参考。l 通过南站区域内人流换乘耗时以及人流动线的分析，可以为改善内部寻路措施提供理论依据 。l 通过分

34、析内部人员结构改善针对特定人群的服务。l 通过分析内部人员结构为南站内部的广告投放、南站内部的商铺建设以及南站周边经济圈的开发提供参考。案例-交通行业南京交管局大数据项目 二桥拥堵时对前往车辆进行拥堵短信提醒实现南京二桥路线实时路况监控020040060080010002.01507E+112.01507E+112.01507E+112.01507E+112.01507E+112.01507E+112.01507E+112.01507E+112.01507E+112.01507E+112.01507E+112.01507E+112.01507E+112.01507E+112.01507E+11

35、2.01507E+112.01507E+112.01507E+112.01507E+112.01507E+112.01507E+112.01507E+11实际人流量玄武湖公园客流量预测南京南站客流量监控1234n借助实时处理能力对海量电信信令数据进行实时计算，提供高速路及交通枢纽的实时路况和客流监测。n基于BI可视化组件快速实现对拥堵道路的多维度分析和展示；n对景区和交通枢纽实现客流实时监控和预测。分析区域和城际互联互通水平，打造交通枢纽城市l出行量l目的地分析l出行用户画像l东西南北走向流量分析l来源分析l驻留时间统计l流入和经停比例分析l流入流出对比分析预测流入流出分析l主干道流出路线（占

36、比）l到达城市占比l东西南北走向分析危险品/货运分析l跨市通勤用户分析l跨市通勤方式分析l跨市通勤地分析l跨市通勤趋势分析l跨市通勤时间分析城际通勤分析l进港分析l目的地分析l出港分析l过站分析l分流分析l换乘分析交通枢纽分析分析物流经济走廊分析城市与周边区域经济依赖强弱分析交通方式的占比、趋势及不足，加强薄弱通道的建设，合理加密核心圈层的路网密度案例-交通行业常州交通局大数据项目分析指标应用需求l实现信令数据、普货、危险品、出租车、机场大巴等多数据源的汇聚l实现流入流出、经济走廊、通勤、客流等8大类50+指标的分析和处理l实现各类分析报表、图表的的可视化展示案例：2016苏州园博会大数据监测

37、对重点区域 运营商用户终端位置信息 自建WIFI位置信息 道路监控的卡口数据：过车车号、过车车速、过车时间、过车车辆信息、过车照片 时间、地点、用户、用户特征等信息强关联 位置信息覆盖范围广监控预测预警防暴恐、踩踏事件大数据重点人群来源去向人群流量人群密度监控预测预警措施缺失基于公安信息，结合运营商通信和位置信息，以实现：扩展情报收集来源提升公安反恐作战能力提供刑侦辅助手段实现犯罪预测和防控提供预警和处置手段公安大数据应用犯罪交往圈挖掘根据嫌疑群体的通信行为，挖掘其组织关系以及潜在目标应用4犯罪交往圈挖掘系统根据其通讯行为，挖掘形成交往圈图谱警方输入犯罪嫌疑人号码，分析其交往圈信息形成犯罪人交

38、往圈分析报告，展示其交往图谱、关键人、异常人员等系统支持分析交往圈的关键联系人，进一步分析其个人特征系统支持选择联系人，进一步进行追溯，并进行一定的筛选根据其交往圈规律，结合其位置轨迹，分析交往圈人缘关系身份重点人员布控支持根据嫌重点监控人的实时位置，辅助实现人、车布控应用2重点人员布控支持根据嫌疑人习惯、移动轨迹（人，车：320），制定布控策略警方锁定嫌疑人，需要布控抓捕准确定位，捉拿嫌疑人根据嫌疑人实时位置，实施抓捕计划嫌疑人与其他人通信时，实时抓取联系人信息嫌疑人进入车站、机场等准备逃窜时，及时预警罪犯轨迹分析通过分析犯罪嫌疑人的位置轨迹，分析其行为特征和异常信息应用3罪犯轨迹分析系统追

39、溯其位置轨迹，形成轨迹路线警方输入犯罪分子号码，分析之前的行为根据其行为轨迹，分析其生活、工作地点、异常活动地点等信息分析人员可选择特定区域，统计其经过次数、时间等信息系统支持输入其他人员信息，进行轨迹对比分析系统分析其停留特征，分析停留位置和时长数据获取位置数据基站数据用户画像 手机数据基本特征：数据构成/更新原理/触发机制/更新频率等 进入小区范围的用户画像数据预处理手机数据质量分析手机数据预处理信令覆盖于小区地形匹配 手机数据适用性分析 手机数据准确性分析 手机数据完整性分析 基站与小区、小区附近道路映射匹配 获取个体用户小区附近出行轨迹 获取个体用户小区附近时空分布 去除信令数据噪声

40、去除信号扰动影响模型构建人群身份识别模型 夜间频繁出入（并停留）于多个小区的用户。 多个用户在异常时空轨迹上出现重合 多个用户通话行为与异常时空轨迹发生时间重合 停留点/时长识别与计算 出行链识别 出行模式聚类特殊人群核心人员识别模型 小区居民 小区工作人员（物业、快递等） 经常出入小区的游客 保护用户隐私：手机数据字段/类型/更新频率等 基站分布/用户量分析小区公安监控的应用小区异常行为人流实时监控预警案发后嫌疑人排查及轨迹跟踪基于历史轨迹的嫌疑人挖掘观云大数据处理平台一般客户交往圈异常模型人群流量监测预警模型。案例-公安监控苏州公安小区监控基于轨迹相似度、时空重合度、周期内重合次数及通信交

41、往圈分析建立非法聚集评估指数，并根据非法聚集规模进行预警。案例-司法社区服刑人员监控通过历史轨迹数据分析住所工作地，日常活动轨迹。基于这两点分析晚归未归数、轨迹相似度，对相似度较高的异常轨迹进行预警活动轨迹分析活动范围分析非法聚集分析l 异常轨迹分析、预警l 基于轨迹的居住地、工作地分析l 特定区域经过次数及停留时间分析l 异常轨迹相似度分析l正常/异常活动范围分析及图形化展示l异常活动范围特征分析及预警 l异常活动范围相似度分析l轨迹相似度分析l时空重合度分析l周期重合次数统计l非法聚集规模监控l服刑人员交往圈分析人员活动信息总览l人员分布图形化展示l活动正常/异常比例显示l正常/异常人员地

42、图高亮显示非法聚集分析异常轨迹分析常熟公安基于wifi探针的用户数据采集1项目背景 作为“大防控”体系的一部分（不属于技侦范畴），公安目前在建设基于wifi探针的用户数据采集项目，并计划在此基础之上进行大数据分析。 基于wifi探针的用户数据采集，难点在于如何获取用户手机MAC地址和手机号码的匹配，公安目前的手段是在自己有抓手的公共场所（网吧、宾馆等）强制推行号码登记。 苏州由市公安局统一部署，各区县分别试点建设，常熟想做出自己的特色：引入运营商wifi数据，提高匹配率。ChinaNet、aWifi等家庭宽带wifi大数据平台wifi探针数据：MAC地址与位置信息MAC地址与手机号或宽带账号的

43、关系数据应用本期项目内容2合作方式甲方：常熟公安乙方：鸿信（数据平台建设与数据集成）丙方1：苏州国泰实业公司常熟分公司（苏州公安直属企业）丙方2：wifi探针厂商 项目金额约五六百万，其中探针设备约四百万。政策与技术的可行性精准营销数据基础数据基础用户级的基础口径数据受理与发展渠道、 资源接入方式、营销区域、城乡标志、学校代码、乐享3G主副卡标志、云卡类型、 智能手机终端与3G手机手机终端、3G终端用户(集团口径)、是否在网、是否计费出账、是否融合、是否活跃、是否三零用户 网间结出结算漫游结出iTV结出SP结出保有佣金佣金发展佣金话费补贴补贴终端补贴其他装维物料终端结算营销成本 用户级的成本汇

44、聚与计算交往指数：衡量一个号码的交往号码与其交往程度的量化指标；涵盖交往频度，通话时长，通话次数因素 用户交往指数和交往圈是否新增用户是否离网（90天内没有通话）本网生活圈交往指数最高的固话产品本网生活圈交往指数最高的移动产品异网用户所在营销支局中高端用户类型 是否为其他运营商的客户经理异网用户的特征刻画 全面融合企业前后端数据，通过专业数据团队打造统一业务模型，将位置信息、上网行为和用户标签信息加入到业务中间层，使得数据更加易用，更加贴近业务。精准营销数据基础标签分类个人价值个人价值购买力标签购买力标签资产标签资产标签1.月消费月消费5.银行往银行往来来7.手机终手机终端端6.电信消电信消费

45、费8.套餐类套餐类型型3.工作类工作类别别2.电商网电商网站站4.常出现常出现地地1.房产房产3.理财购理财购买买2. 小区档次小区档次评估目标客户的消费能力和资产水平生活习惯生活习惯家庭家庭/朋友圈朋友圈生活习惯生活习惯5.饮食习饮食习惯惯7.手机信手机信用用6.出行习出行习惯惯1.活跃时活跃时间间3.服饰购服饰购物物2. 休息时间休息时间1.家庭购家庭购车车3.社交广社交广度度2. 配偶特征配偶特征描绘目标客户的交往圈、家庭圈和生活习惯身份特身份特质质基本情况基本情况兴趣爱好兴趣爱好6.饮食饮食8.阅读阅读7.旅行旅行9.社交社交1.电商电商3.理财理财2. 金融金融4.旅游旅游1.性别性

46、别3.归属地归属地2. 年龄年龄10.视频视频5.团购团购12.运动运动11.游戏游戏观察与目标客户特征紧密相关的身份状态和兴趣爱好底层标签分类上层应用标签分类精准营销数据基础标签管理 建立标签管理系统，统一管控用户上网行为标签规则的维护及共享。加强对网络数据的深入解读，实现用户网络帐号识别、提升异网用户识别能力，陆续建立“个人交往圈模型”、“企业员工关系模型”、“宽带异网号码识别模型”，实现数据价值提升。账号识别900万800万100万xxx万异网识别异网手机号：300万移动APP4000+百度地图微信QQ易信支付宝网站浏览18000+新浪网易淘宝天涯论坛电信网厅搜索行为7000+P2P理财

47、小苹果电信套餐宝马上网终端2000+小米4MacBook小米盒子iPhone 6 Plus智能电视标签系统中国电信宽带描述人与人之间的紧密程度描述企业与人之间的紧密程度个人交往指数模型生活圈交往指数0.65工作圈交往指数0.65综合圈企业交往指数模型通话频度地理位置重合度通话广度 通话频度 = (权重a *本月CDR日数 + 权重b*本月CDR周数 + 权重c*本月CDR旬数)/ 本月天数； 交往指数 = 系数A*CF+ 系数B*时长+系数C*次数) +系数D* 短彩信次数； 通话广度 = 手机号码与同一企业内固定电话通话的固话号码个数； 地理位置重合度 = 手机工作时间驻留时间最长的基站位置

48、与企业所在物理网格重合度；关键人物识别黄名单红名单构建人群的“安全系数”社交账号监控购买管制刀具、炸药等频繁翻墙访问境外网站多账号造谣宣传行为绿名单可疑危险分子持续动态追踪，锁定真实人员通信行为监控跟踪行为轨迹经常插拔卡非正常时段上网位置定位锁定自然人用户画像案例：关键人物识别及管控发表不良言论搜索敏感词汇通话详单中有警方监控对象案例：电信云公司旅游目的地画像 通过对移动互联网网关日志的解析和过滤，对游客访问的旅游类内容进行识别。 对重点旅游网站URL进行解析过滤，并通过爬虫工具对URL对应网页进行采集下载，获取URL对应互联网内容信息。 对采集到的海量互联网内容进行分析清理，通过文本分类和分

49、词工具获取网页中的有用信息，并进行归类整理互联网互联网分析分析内容内容分析分析文本文本分类分类中文中文分词分词 以用户生活需求为出发点，精准识别用户动作 聚合企业内外部海量数据，基于用户行为广度和深度识别还原客户场景。URL上网日志互联网信息资源URL获取获取游客上网行为旅游网站内容解析 热点内容归类 用户行为识别还原 旅游目的地画像系统基于全互联网环境数据，借助网络爬虫、机器学习等大数据挖掘技术，围绕旅游目的地为对象，对相关的新闻热点、热门路线、满意度评价等实现实时分析。省内：徐州智慧旅游中央管理平台苏州吴江智慧旅游项目牛首山客情大数据项目省外：邢台大峡谷智慧景区建设项目河南焦作市智慧旅游建

50、设项目山东长岛智慧旅游项目客流来源分析提供从省、市、区县等不同粒度的客流来源构成分析客流对比分析 客流密度监控以热力图、趋势图等多种展现形式对景区客流进行实时监控和预测游客画像基于电信大数据实现人群画像（年龄、性别、兴趣） ，助力个性化服务和精准营销。 停留时间分析基于信令数据，对景区内游客的停留时间进行统计，并结合其他维度进行关联分析游客轨迹分析基于相关景区、节假日、天气等多种维度进行客流量、停留时间的对比分析进行游客不同景区以及景区内不同景点的路线轨迹跟踪分析，为旅游接待、景区管理、路线规划、等提供数据依据及支撑案例：智慧旅游大数据基于用户行为画像及位置数据进行实时处理，海量分析，为旅游管