大数据背景下的信息分析课件.ppt

1、1.1 信息分析的内涵事实符号数据信息知识情报（智慧）信息源信息收集信息整理信息分析信息产品信息利用信息分析作为一种职业（profession），在中国语境下的进化：- 从科技信息扩展到包括科技信息、经济信息、社会信息、文化信息、政治信息、军事信息等众多内容- 对象从文献信息扩展到包括文献信息和非文献信息的各类信息，社会调查、数据挖掘、隐性知识（tacit knowledge）的开发得到强调- 范围和应用领域已超出了情报界，成为信息咨询与服务业的重要组成部分2022-6-11信息处理（information process）、数据分析（data analysis）、数据处理（data proc

2、ess）、政治军事情报（military or political intelligence）、工商情报（business intelligence）、技术跟踪（technology tracking）、技术预见（technological foresight）“大数据分析”（Big Data Analysis）、“数据分析”（Data Analytics）、“海量数据分析”（Massive Data analysis）、“商务智能”（Business Intelligence）、“社会计算”（Social Computing）2022-6-121.1.2 信息分析与相关研究的关系研究对象：社

3、会信息/自然现象和社会现象研究目的：提供人们决策和行动的情报和智慧（工具主义）/认识、揭示自然界、社会和人类思维的规律（本质主义）研究功用：信息分析直接为科学研究服务研究性质：商业性、经营性/公有性、无私利性都涉及信息的分析和加工，都为决策和行动提供依据和参考信息分析的研究范围更加广泛，而软科学则侧重对策研究软科学研究以信息分析为基础，而信息分析借鉴软科学的对策研究方法是一种趋势2022-6-13基础活动都是信息的采集、加工、传递和反馈，为客户决策和行动提供智力支持服务咨询服务更强调专业性（professional），更注重依赖咨询人员的专业经验和具体研究去解决客户的实际问题信息分析正迅速融入

4、咨询业而形成信息咨询业竞争情报是信息分析中面向企业的信息研究，范围较信息分析狭窄竞争情报以市场竞争为内容，以竞争对手分析为核心，具有强烈的对抗性和针对性2022-6-14从混沌的信息中萃取出有用的信息从表层信息中发现相关的隐蔽信息从过去和现在的信息中推演出未来的信息从部分信息中推知总体的信息运用相关信息对事物的状态、性能和效果进行评价2022-6-15提高科技劳动效率的需要科学技术管理科学化的需要大科学时代科学研究规模的大型化、跨学科、分散化的特征，对科学技术的协调管理提出了迫切需要，而有效的管理必须以信息的搜集和研究为基础2022-6-16 随着科技、经济、社会之间关系的日益密切，以及支持个

5、人、组织、国家竞争的信息需求之日益迫切，信息分析突破了科技信息分析的范围，形成了众多分支领域，成为现代信息咨询业的重要组成部分； 随着大数据、云计算等技术的发展，科学研究进入数据密集型计算的第四范式，信息分析在大数据背景下，以数据为中心、以数据为驱动的特征越来越突出。1956年中国科学院科学情报研究所成立，1958年，中国科学院科学情报研究所更名为中国科学技术情报研究所，部委级和省市级的情报研究机构纷纷建立，形成了条块结合、纵横交错，为科技发展和领导决策服务的专职情报研究体系20世纪80年代以来，突破传统的科技领域，向更广泛的社会领域渗透发展1983年，情报研究专业委员会成立（后改为信息研究与

6、咨询专业委员会、信息咨询专业委员会1995年，中国科学技术情报学会竞争情报分会成立，即：中国竞争情报研究会各类信息中心、咨询公司、信息服务公司、网络信息服务商、电子商务公司和政府中的经济、政策研究机构纷纷成立，并不同程度地加入到信息分析行列国外著名的市场调查研究机构、管理咨询公司、数据库服务商等纷纷登陆中国2022-6-17信息分析在中国形成了由不同性质机构（官方、半官方、私营）组成的、涉及不同领域和层次的比较完整的体系，形成了一个规模庞大、增长迅速的产业。在数字化、全球化背景下，为各种层次的竞争、决策和行动提供情报智力支持的信息分析，从发展趋势上来看，整体上呈现出服务的市场化、内容的专深化、

7、手段的智能化和管理组织的规范化等趋势。2022-6-18相关链接1-1：美国40多所高校设立数据分析相关专业硕士项目科技发展战略信息分析：科技发展内外环境状况分析、科技发展预测、发展战略和策略分析科技发展战略信息分析：科技发展内外环境状况分析、科技发展预测、发展战略和策略分析科学前沿和发展态势分析：科学前沿领域识别、学科间关系网络分析、学科的认识地图科学前沿和发展态势分析：科学前沿领域识别、学科间关系网络分析、学科的认识地图技术预见与热点分析：技术预见方法、关键技术选择、热点技术识别、高新技术进展与技术预见与热点分析：技术预见方法、关键技术选择、热点技术识别、高新技术进展与趋势分析趋势分析科技

8、竞争力评价：科技竞争力评价方法、国家和科研机构竞争力评价、科技成果评价等科技竞争力评价：科技竞争力评价方法、国家和科研机构竞争力评价、科技成果评价等课题或项目的背景调研和相关文献分析课题或项目的背景调研和相关文献分析学科、专业、课题的专用数据库建设等学科、专业、课题的专用数据库建设等2022-6-191.2 信息分析的领域经济活动中的动态分析：宏观经济监视和经济景气，市场变化动向，经济指标、指数动态分经济活动中的动态分析：宏观经济监视和经济景气，市场变化动向，经济指标、指数动态分析析经济预测和预警分析：月度、季度、年度和中、长期经济预测，经济运行中可能出现问经济预测和预警分析：月度、季度、年度

9、和中、长期经济预测，经济运行中可能出现问题的预警分析题的预警分析企业竞争分析，包括竞争环境、竞争对手、竞争策略的分析等企业竞争分析，包括竞争环境、竞争对手、竞争策略的分析等为制定经济规划和经济政策而展开的经济模型分析、经济对策分析为制定经济规划和经济政策而展开的经济模型分析、经济对策分析面向社会公众的各种经济咨询分析，如投资、理财等面向社会公众的各种经济咨询分析，如投资、理财等2022-6-110社会发展态势分析：对社会进化整体趋势，国内外重大政治、经济、军事、文化和社会动向社会发展态势分析：对社会进化整体趋势，国内外重大政治、经济、军事、文化和社会动向的分析的分析国情省情分析，包括综合国力分

10、析、区域社会发展分析、城市竞争力评价等国情省情分析，包括综合国力分析、区域社会发展分析、城市竞争力评价等社会风险预警分析：社会风险识别、社会风险评估、社会风险预警、舆情分析与预警等社会风险预警分析：社会风险识别、社会风险评估、社会风险预警、舆情分析与预警等公共政策的效果分析，包括公共政策的实施状况调查、公共政策的效果评估等公共政策的效果分析，包括公共政策的实施状况调查、公共政策的效果评估等社会科学学术信息分析：对社会科学各领域中理论、流派、人物、文献等的趋势分析、动向社会科学学术信息分析：对社会科学各领域中理论、流派、人物、文献等的趋势分析、动向分析、比较研究等分析、比较研究等2022-6-1

11、11是指人们为了解决理论的、认识的、实践的、日常生活的等特定任务或为了达到一定目的所选择和采取的手段、途径和方式的总和是指关于方法的本质及其发展规律的理论或学说方法论研究：方法的性质、作用和发展规律不同方法之间的差别和联系每一种方法在方法系统中的地位正确运用各种方法所必须遵守的基本程序和原则等2022-6-1121.3 信息分析方法论哲学方法哲学方法一般方法一般方法专门方法专门方法2022-6-113主要来源主要来源逻辑学、系统分析逻辑学、系统分析图书情报学、社会学图书情报学、社会学数学统计学、经济管理学数学统计学、经济管理学2022-6-1141.4 信息分析职业人员理想素质结构在两类知识、

12、两种思维、两类方法之间保持必要的张力隐性知识（通过生活经验得到）显性知识（通过学习得到）未被系统化的个人的经验性的没有阐明的涉及完形心理过程的引导性的，可用以说明在一种科学或一门艺术中的熟练技巧的对人理解事物来讲是基本的，而又主要是靠世代相传积累的作为一切知识的不可缺少的部分的能解决柏拉图提出的佯谬的被清楚地表达出来的公共的客观的可用言词、图表、公式、符号表达的逻辑性的具有清晰文化背景的事实 如果背离了不言而喻的那些知识，就会成为谬误来源的“我们所知道的，多于所能讲出来的。”“我们知道并能表达出来的，就被认为是真的。”“我们必须相信我们所理解的。”“不能明确表示的知识（隐性知识）包括：（1）因

13、事而定的常识；（2）科学家们凭借接近目标的感觉而追索前进的动力；（3）对今后得到的发现所具有的尚不能确定的含意，持有的某种有根据的期待。”能使信息分析人员在不完全认识部分或细节的情况下认识整体隐性知识有利于信息分析人员从已有研究成果和自己的观察和实验中不断获得新的“暗示”，从而不断提出新问题，不断把研究向前推进隐性知识的获得更多地靠个人的亲身实践，这提醒信息分析人员除了掌握信息分析相关的理论方法等显性知识外，还要通过职业实践亲身感悟和获取相关的隐性知识要求信息分析人员高度重视团队的价值，重视核心成员的作用2022-6-115非习常性、无规范甚至是无规律的思维形态：跳跃式的联想和想象、灵感、直觉

14、等等指诸如逻辑推理、数学演算等，按一定规则归纳或演绎，有可靠的程序和步骤在解决问题时，往往先靠发散性思维得出各种各样的可能性假设或设想，再依靠收敛性思维进行具体的信息加工分析，得出明确的结果收敛性思维进行常规信息分析的基本能力；而发散性思维则是发现新的目标，解决不常见的甚至是只偶然出现的特殊问题或重大难题的另一种能力2022-6-116科学方法的运用趋势从定性奔向定量，又在更高层次上出现了定量到定性的回归理论基石是实证主义，强调在研究设计、数据收集、结果的处理与解释上必须具备严格的形式强调对事物进行量化的测量与分析强调对研究对象进行人为干预，创设实验条件主要采取假设验证的研究方式形成了包括严格

15、的抽样技术（随机抽样）、量化的资料收集技术（调查、实验）与以数理统计为基础的资料分析技术（描述统计、推断统计）在内的一套完整方法体系。2022-6-117哲学基础主要是后实证主义、批判理论与建构主义在研究目的上，更重视对事实的解释性理解，强调“事实”本身必须通过研究者主观的诠释才可能揭示其意义在研究情景上，更强调研究情景的自然性，主张在现有的环境下开展研究在研究策略上，主张在研究前不对研究问题作详尽的假设，只提出大体的研究思路，在研究的过程中随时根据新问题与新信息调整方向，修订思路在具体的研究方法上，更多地采用访谈、观察、档案分析等方法，强调在研究过程中研究者自身的体验，对文字化的描述进行以归

16、纳分析为主的处理在研究者与被研究者的关系上，反对定量研究的价值中立原则，主张研究者应当积极与被研究者交往，并认为这是研究不可缺少的部分2022-6-118S代表进行信息分析的“硬功夫”，包括良好的显性知识、收敛性思维和定量方法A代表进行信息分析的“软功夫”，包括良好的隐性知识、发散性思维和定性方法“软功夫”在信息分析中的作用至少体现在：对信息分析问题的识别和方向判断理论框架的形成对方法、工具或模型的选择需要背景知识和经验才能理解、解释所得到的数据或结论研究过程中的团队合作2022-6-119相关链接1-2：罗兰贝格的行为规范相关链接1-3：麦肯锡公司的用人之道2022-6-1201.5 大数据

17、背景下的信息分析 数量（Volume）、速度（Velocity）、种类（Variety）、价值（Value）、准确性Veracity从特征角度描述 概括了新型的低成本、高扩展性、高可靠性、高容错性、高吞吐量等数据处理技术从技术角度描述 交易、交互和观察数据/过程介导数据、人类产生的信息以及机器生成的数据从数据类别角度描述 使用数据来预测将会发生什么，并进行干预来改善情况从“信号”角度描述 能够从各个角度分析与处理以往被忽略的数据，提升获取崭新知识和能力的机会，从中发掘出前所未有的机遇从“机会”角度描述 帮助这个星球生成神经系统的过程，其中我们人类只是另一种类型的传感器其他角度的描述科学研究产生

18、的数据、web数据、企业应用中包含的数据、感知数据提供大数据分布存储和并行计算的硬件基础设施和平台: 基于普通商用服务器的集群、结合其他类型的并行计算设施一起工作、云计算平台分布式文件系统与数据查询管理系统，采用NoSQL的非关系型的数据管理查询模式大数据并行计算模式和系统，目前主流的是Hadoop MapReduce技术2022-6-121Paluo Goes教授认为大数据分析可包括可视化分析、探索性分析、解释性分析、预测性分析以及规范性分析几方面，常用的分析方法有聚类、社会网络分析、关联规则挖掘、统计学方法、计量经济学方法、机器学习等江信昱等对大数据的方法进行了分类梳理，包括面向统计、面向

19、挖掘、面向发现、面向预测和面向集成五个方面已有机器学习和数据挖掘算法需并行化设计和改造2022-6-122范式（paradigm）是一种对本体论、认识论和方法论的基本承诺，是科学家集团所共同接受的一组假说、理论、准则和方法的总和美国计算机科学家吉姆格雷认为，科学研究的范式经历了科学实验、模型归纳和模拟仿真的阶段，进入了第四范式，即数据密集型科学范式数据密集型科学的研究对象是科学数据，将理论、实验和计算机仿真统一起来，数据由仪器收集或仿真计算产生，利用软件处理，依靠计算机存储，并利用数据管理和统计工具分析数据。数据密集型科学由三个基本活动组成：采集、管理和分析作为典型的信息密集型研究活动，信息分

20、析在大数据的背景下必将按照数据密集型科学范式，以数据为驱动进行问题提出、问题界定、问题分析和问题解释2022-6-123舍恩伯格指出，大数据带来了三大思维变革，即要全体不要抽样，要效率不要绝对精确，要相关不要因果。这三大思维变革如果更具体化地落实到科学方法论上，必然会对传统的科学方法论产生革命性的转变，信息分析亦不例外大数据的两个重要特征是能够进行前瞻性预测和实时精准的管理，例如，亚马逊的“预判发货”。 大数据带给信息分析的除了思维方式的转变、技术方法的更新外，其直接作用就在于促使信息分析研究质量的提升2022-6-124相关链接1-4：“历史文献大数据”的相关研究相关链接1-5：从数据到洞察力 (From Data to Insights)情报分析员的“意义环概念模型”2022-6-125