智慧金融大数据解决方案.ppt
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《智慧金融大数据解决方案.ppt》由用户(三亚风情)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 智慧 金融 数据 解决方案
- 资源描述:
-
1、智慧金融智慧金融大数据驱动金融智慧大数据驱动金融智慧Cisco Systems Shen Qi 泛金融行业目前最火的技术热点泛金融行业目前最火的技术热点ABCD宏观洞察对行业、社会变化趋势进行组合分析和预测digital footprint驱动流程改造驱动流程改造:比如 自动审批、自动营销,提高服务效率提高决策成功率:提高决策成功率:比如 精细风险识别和计量、反欺诈等数据驱动的产品和服务数据驱动的产品和服务设计、迭代设计、迭代:创新创新比如 精细产品定价、客户价值挖掘等数据驱动提升数据驱动提升:客户体验客户体验比如 客户满意度分析、投诉预测,客户画像,精准营销121234大数据在银行价值和应用
2、展望大数据在银行价值和应用展望微观洞察微观洞察对人的行为进行更准确的分析和预测 金融领域大数据金融领域大数据-应用市场应用市场金融领域大数据金融领域大数据-技术市场技术市场大数据银行业中的应用大数据银行业中的应用大数据金融业中的应用热点大数据金融业中的应用热点部分应用场景分析部分应用场景分析金融科技细分领域金融科技细分领域案例案例:大数据在陆金所的应用大数据在陆金所的应用金融领域大数据应用趋势金融领域大数据应用趋势 2010 Cisco and/or its affiliates.All rights reserved.Cisco Confidential12多结构化数据Variety:文字/
3、图片/视频/文档Petabytes海量信息Volume:传统存储/计算无法处理速度VELOCITY:快速及时有效的分析+ORGANIZE+ANALYZE价值价值VALUE:单条信息并无太大价值,但庞大的数据量蕴含巨大财富单条信息并无太大价值,但庞大的数据量蕴含巨大财富Acquire/AccessProcessDecide大数据的四大特征4个”V”2010 Cisco and/or its affiliates.All rights reserved.Cisco Confidential13 Hadoop是一个分布式存储和分析数据的容错框架。它由两个主要组件构成:Hadoop文件系统(HDFS)
4、数据存储于多个硬件中,其中一个出故障的概率是非常高的。避免数据丢失的常见做法是复制,通过系统保存数据的冗余副本,在故障发生时,可以使用数据的另一份副本。这就是冗余磁盘阵列的工作方式。Hadoop的文件系统HDFS(Hadoop Distributed Filesystem)就是这样工作的。MapReduce应用引擎大部分分析任务需要通过某种方式把数据合并起来,即从一个磁盘读取的数据可能需要和其它多个磁盘中读取的数据合并起来才能使用。MapReduce提供了一个编程模型,其抽象出上述磁盘读写的数据,将其转换为计算一个由成对键值组成的数据集。什么是什么是Hadoop?解决的?解决的问题问题 201
5、0 Cisco and/or its affiliates.All rights reserved.Cisco Confidential14Hadoop has many building blocksAt the base is a way to Store and Process unstructured dataHadoop Distributed File System(HDFS)At the base is a Self-healing clustered storage system.Map-ReduceDistributed Data Processing PIGHiveSqoo
6、pTop level abstractionsTop level InterfacesETL ToolsBI ReportingRDBMSHBASEDatabase with Real-time accessApps API14Flume 2010 Cisco and/or its affiliates.All rights reserved.Cisco Confidential15Name Node作为调度者 Job Tracker管理所有data node,数据存储在内存中(meta data)第二个Name Node Snapshot of meta data of HDFS clust
7、erTypically all three JVM can run on single nodeData Node 接收任务者-(Task Tracker)执行Map&Reducer 任务为各节点/CPU/CORE的各个工作任务配置Map&Reducer任务比例 数据本地化数据本地化如果由如果由MAP分配的数据分配的数据不可用,这个丢失的数据将通过网络进不可用,这个丢失的数据将通过网络进行复制。行复制。ToR FEX/switchData node 1Data node 2Data node 3Data node 4Data node 5ToR FEX/switchData node 6Dat
8、a node 7Data node 8Data node 9Data node 10ToR FEX/switchData node 11Data node 12Data node 13Data node 14Data node 15Name Node15Switch 2010 Cisco and/or its affiliates.All rights reserved.Cisco Confidential16MapMapMapMapMap数据收取和复制外部连接东西向流量(复制数据块)Map阶段阶段 原始数据分析并转换为原始数据分析并转换为name/value对工作任务被分解为多个批量MAP任
9、务Reducer在全部MAP集完成后启动reduce阶段主要是IO/compute功能16Hadoop Distributed File SystemUnstructured DataMapMapMapMapMapMapMapMapMapMapKey 1 Key 1 Key 1 Key 1Key 1 Key 1 Key 1 Key 2Key 1 Key 1 Key 1 Key 3Key 1 Key 1 Key 1 Key 4ReduceShuffle PhaseReduceReduceResult/OutputReduceMapMapMapMapMap 2010 Cisco and/or it
10、s affiliates.All rights reserved.Cisco Confidential17 Hadoop 1.0 Hadoop 2.0 Spark Hadoop的演进Spark相比Hadoop 2.0的优势:性能(基于内存的分布式计算)基于RDD的多样操作类型和编写工具 支持交互查询Spark框架为批处理(Spark Core),交互式(Spark SQL),流式(Spark Streaming),机器学习(MLlib),图计算(GraphX)提供一个统一的数据处理平台,这相对于使用Hadoop有很大优势 2010 Cisco and/or its affiliates.All
11、 rights reserved.Cisco Confidential18 Hadoop是一个分布式存储和分析数据的容错框架 典型配置:2个万兆交换机+3节点以上 节点需要大量本地存储,通常用C220,C240,S3260 一般不用虚拟化 八节点下一般不设单独Name NodeHadoop的设计 支持SQL交互式查询 支持基于图形数据库的分析 流计算 Storm VS Stream 机器学习/深度学习大数据未来发展趋势完整的数据挖掘流程支持多种展示方式高效的分布式机器学习算法PMML导出和应用模板数据预览数据预处理特征工程模型训练结果展示特征提取丰富的预处理和SQL算子跨平台和统计算子模型上线
12、 2016 Cisco and/or its affiliates.All rights reserved.Cisco PublicCisco Big Data and Analytics Partner EcosystemData ManagementData IntegrationAnalytics HadoopScale-out DatabasesNoSQLData VirtualizationData Preparation HANAVora UCS Infrastructure 星 环 科 技星环科技-产品技术全球领先越往右,产品越具有远见性星环科技,中国(已上市,硅谷)(已上市,硅
13、谷)(D轮,硅谷)(C轮,硅谷)(C轮,硅谷)2016年Gartner数据仓库与数据管理解决方案魔力象限报告星 环 科 技全球六大Hadoop发行版厂商之一摘自 Gartner 2015年“Market Guide for Hadoop Distributions”星 环 科 技http:/www.tpc.org/tpcx-hs/results/tpcxhs_perf_results.aspTPCx-HS测试结果全球第一 2016 Cisco and/or its affiliates.All rights reserved.Cisco Public众多金融行业客户华通银行(筹)希望银行(筹)
14、2016 Cisco and/or its affiliates.All rights reserved.Cisco Public众多客户和合作伙伴星 环 科 技Transwarp Data Hub 5.0 产品家族 Transwarp ProprietaryApache ProjectsTranswarp Manager安装、监控、运维、管理Guardian安全管控Discover数据挖掘机器学习Inceptor分析型数据库企业级数据仓库HyperbaseNoSQL分布式数据库Slipstream实时流处理引擎Transwarp Operating System(Embedded Editi
15、on)计算、内存、存储、网络资源管理层Sophon深度学习交互式探索Search大规模搜索引擎调度管理 YARN优化存储 HDFSKafkaZookeeperTranswarps Distribution for Apache HadoopSqoopFlumeTranswarp StudioTransporterETL/实时同步WaterdropSQL开发工具 Midas ML分析工具 Zeppelin NotebookMachine Learning Toolkit RubikCube设计工具 Governor 元数据管理工具 Workflow 工作流引擎 Waterdrop SQL开发工具
16、星 环 科 技革命性的多租户资源管理技术microservice数据仓库microservice数据集市repositorymicroservice实时流处理microservice搜索引擎microservice机器学习microservice数据挖掘租户A租户B租户C核心优势 全容器化 微服务化 资源隔离 弹性扩展 支持多引擎 无性能损失APIsrvnetworketcdscheduler storagenamedcontroller星 环 科 技全面的安全访问控制和资源管理UsersGroupsSystemResourcesHR and ITAreaSecurityadmin.AreaR
17、RRWWWRWSuper-AdminUser-AdminGroup-AdminXXXXAdministrative RolesRole BRole CRole AAdministrative Role-Based Cell Level Access Control星 环 科 技Transwarp GuardianBuild-in LDAP HA supportedAccounting 用户管理Authentication 用户认证Audit 审计分布式文件系统HDFS RBAC支持Dir/File access controlDir/File ACL 用户安全授权管理Grant/Revoke
18、via SQL行/列级安全控制Row/Column LevelInceptor流处理作业授权管理StreamApp/Job Grant/Revoke via SQL主题级安全控制Kafka Topic Level SecurityStream用户安全授权管理Authentication with Inceptor and HDFSDiscover数据交互安全控制Data Transfer&Communication用户安全授权管理Grant/Revoke via SQL(with Inceptor)单元格安全控制Cell LevelHyperbaseData Authorization 数据权
19、限管理Existing AD/LDAP with Kerberos使用既有用户管理与认证系统Build-in KerberosHA supported公司部门一部门N子部门子部门子部门子部门子部门子部门Policy&AlertResource UsageAuditGrant/Revoke AuditAccess ControlAuditResource Authorization 资源管理控制文件系统Usage Quota Control数据库/仓库Static QuotaTemp Quota存储资源计算资源计算资源管理调度YARNQueue Use/Admin ControlInceptor
20、 Pool ControlSLA Control用户组管理员用户超级管理员角色用户组星 环 科 技混合负载支持新的SLA Scheduler按用户或负载提供SLA更细粒度的调度算法动态适配队列拓扑小型化、高性能8个节点上完成30TB和100TB TPC-DS测试批处理的性能线性可扩展Inceptor 5.0-传统数据仓库产品的颠覆者 SQL开发接口全文检索批处理流计算兼容多种SQL标准和方言:SQL 2003Oracle PL/SQLDB2 SQL/PLTeradata完整的SQL支持分布式事务Serializable Snapshot Isolation数据强一致高吞吐的事务机制高可用的事务
21、保证ConsistencyAvailabilityPartitionTolerance小时星 环 科 技Transwarp Studio-高效建造企业数据仓库Cube设计管理工具Rubik元数据管理软件GovernorZeppelin数据集成Data Integration数据加工Data Transformation数据治理Data Governance建立数据集市Data Modeling 可视化Visualization工作流设计和调度工具WorkflowSQL开发IDE Waterdrop数据整合工具Transporter星 环 科 技打造高性能数据集市Holodesk v2 列式存储
22、+局部索引+全局索引WindRunner 高速高并发的OLAP SQL引擎0.30.91.80.91.21.40.82.84.61.40.53.276.523.124.815.817.810.843.218.40.020.040.060.080.0100.0日统计表市/县局营业收入表支局营业报表日营业统计表月营业统计表业务基本分析淡旺季趋势分析渠道分析大客户分析流量流向分析真实数据集市业务场景100并发测试(延时:秒)Inceptor 5.0TeradataHardwareInceptor 5.0TeradataCluster size207CPU cores16040Memory2TB448
23、GBSSD1.2TB0Disks400TB100TBNetwork2 x 10Gbps10GbpsCost500万元5000万元TDH替代Teradata构建数据集市的真实案例100倍的性价比!WindRunner 分布式SQL计算引擎Vector modeFilter/Computing pushed downCache ManagementOff-Heap ManagementLocal File SystemDistribute File Systemcp1cp2cp3cp4cp5cp6IndexCubeEncodingCodeGeneratorHolodesk Internal星 环
24、科 技事件驱动+复杂计算模型融合的实时计算技术Event pipelinesstream s1stream s2window w1(30s,1s)window w2(10s,1s)result t1交易风险预警实时反欺诈交易特征分析客户行为分析ATM交易POS刷卡地理位置交易市场移动终端Hyperbase应用场景实时精准营销量化交易平台市场行情分析CREATE STREAM source(id int,message string,status int)TBLPROPERTIES(topic=rules,source=kafka,);CREATE TABLE result(message st
25、ring,status int);INSERT INTO result PROCESS“your_rules,message,status FROM source;CEP:SELECT e1.*,e2.*FROM w2 PATTERN(e1=op=“sell”,e2=id=e1.id and op=“sell”and pos!=e1.pos)WITHIN(1 minute);星 环 科 技Search-大规模统计和搜索的融合引擎StorageNodeStorageNodeStorageNodeFull text indexerFull text indexerFull text indexer
展开阅读全文