数据科学：探索数据界.pptx

1、数据科学与大数据技术教育论坛内容提要数据界数据科学数据科学家数据界作者、出版社生产信息图书、图书馆存储和传播信息第一次数据爆炸图书存储到计算机中技术的进步使得帮助人类记忆的设施获得重大发展无法过目不忘印刷术、造纸术图和文字帮助记忆第二次数据爆炸大脑记忆？第三次数据爆炸？新的设备计算机及存储设备更易共享，传播更快刻图刻字帮助记忆，易于传播、交流数据界数据界数据身数据界自然界Nature数据界DataNature数据表示自然界中存在的东西一些数据不表示自然界中任何东西所有自然界中东西都有数据表示；数据正确性真实性没有保证 数据一致性越来越困难 数据共享越来越困难数据综合症 表示自然界的任何东西数据

2、界探索数据界数据界有多大、有多少数据？数据以什么方式增长？数据增长对人类影响？数据界数据界的真实性看到的数据是否真实数据是否真实表示了现实看到的是搜索引擎展现的数据界数据界如何看到一个真实的数据界?搜索的问题 :隐藏了数据界的真实性数据界数据对象测度与数据代数1）布尔代数2）关系代数+=?内容提要数据界数据科学数据科学家数据科学数据科学：认识数据发展变化的规律新的科学新的研究对象新的科学问题新的科学问题、新的研究对象需要新的科学数据科学术语 1966 年，Peter建议将计算机科学称为数据科学（当时使用“Datalogy”一词），即“研究数据使用和本质的科学”； 1990年，CODATA将数据

3、科学描述为处理科学数据的科学，并于2002年将其创办的期刊命名为Data Science Journal； 1996年，Chikio将数据科学描述为数据统计、数据挖掘和相关方法的综合；Peter Naur 2001年，William提出将数据科学作为一个独立的学科的观点，所定义的数据科学是统计学的扩展。 2009年朱扬勇和熊贇将数据科学描述为研究网络空间中数据的形态、现象和规律的科学，即研究数据的科学或关于数据的科学； 2010年，Mike将数据科学描述为数据的应用及其产物，目标是从数据中提取出意义（信息和知识）和创造数据产品。The Scienceof Datalogy,CACM, 1966

4、:9(7)Datalogy: thescience ofthe natureand use of 数据科学在科学数据处理领域、计算机科学领域、统计学领域data.等都已经提出了相应的概念和观点。维基百科认为数据科学结合不同元素，并建立在不同领域的技术和理论之上，这些领域包括数学、统计、数据工程、模式识别和学习、高级计算等，使用所有可用的数据和相关的数据使非专业人士易于理解其阐述的内容是数据科学的目标。数据科学的一些观点观点一: Data science is the science of studying scientific data.CODATA regards data science

5、as the methods and technologies usedto conduct scientific research through management and utilization ofscientific data.The Committee on Data forScienceandTechnology(CODATA) launched the DataScience Journal in 2002.数据主要是指科学研究产生的数据，强调科学数据管理、处理和利用即 通 常 被 称 为 data-intensive scientific research or fourt

6、hparadigm of scientific research.数据科学的一些观点观点二: Data science is the science of studying business data.In 2010, Loukides discussed whatdata science is, arguing that datascience should enable the creationof data products rather thanworking as a simple applicationwith data.In 2013, Provost et al. pointe

7、d out,“extracting knowledge from datato solve business problems” is oneof the fundamental concepts ofdata science.从业务数据中获取知识辅助决策是数据科学的一个方面。许多BI科学家也被称为数据科学家。相比BI问题，数据科学更聚焦BI方法学。数据科学的一些观点观点三: The purpose of data science is to solve scientific andbusiness problems by extracting knowledge from data.In 2

8、013, Dhar defined data science as “the study of thegeneralizable extraction of knowledge from上述观点中数据科学的研究对象仍然是自然界中的事物研究问题仍然是现有科学领域的研究问题观点四: Data science is an integration of statistics, computingtechnology, and AIIt is generally believed that data scientists should have skills in statistics, computi

9、ngtechnology, AI, and related fields整合的观点科学数据和数据科学科学数据数据科学研究数据科学研究过程中产生的数据PM2.5 320数据界中包括两类数据：一是，表示自然界中事物的数据；一是，不对应于自然界中的事物的数据。DNA社交网络作为科学研究对象的数据网络空间数据（计算机病毒）在数据上做研究数据科学数据科学：研究数据的科学或关于数据的科学，是探索网络空间数据奥秘的理论、方法和技术。主要有两个内涵：研究数据的各种类型、状态、属性， 为自然科学和社会科学研究提供一组织形式、变化方式和变化规律， 种新的方法，称为科学研究的数据即认识数据、掌握数据；方法，其目的在

10、于揭示自然界和人类行为现象和规律。数据科学自然科学数学科学法学天文学物理学心理学金融学经济学数据科学计算机科学生命科学地球科学 化学社历史学 会科学医学其他科学其他数据科学研究内容数据科学基础理论科学研究数据方法数据界探索数据技术及其应用相似性的定义、相似性计算、相似性函数的性质及分类、相似性函数评估准则等。定义数据集及其测度；定义数据运算，分析数据集的代数结构特性。数据勘探、数据实验、数据感知数据科学研究内容科学研究数据方法数据界探索数据技术及其应用数据科学基础理论领域数据学各领域专门的理论、技术和方法，从而形成专门领域的数据学，例如：脑数据学、行为数据学、生物数据学、气象数据学、金融数据学

11、、地理数据学等等。数据方法框架数据科学研究内容数据界探索科学研究数据方法数据技术及其应用数据科学基础理论数据规律研究数据分类数据界安全研究网络空间的数据安全、数据主权问题；将数据科学的理论和方法应用于军队信息化建设，建立军事数据学；将密码研究方法等用于数据科学研究。研究分类标准，建立数据本体（称为数据百科全书），并建立这些本体概念的相似关系和联系；对已有数据集根据分类标准和数据本体进行分类，形成人类认识数据界的基本类别。数据界的大小、数据的增长方式、数据真实性、数据增长对人类社会的影响等等数据科学研究内容数据技术及其应用科学研究数据方法数据界探索数据科学基础理论内容提要数据界数据科学数据科学家

12、数据科学家大数据时代，数据科学家是最性感的职业，而不是数据工程师，也不是数据分析师。在实施一个大数据应用时，常常由来自于统计、计算机和业务领域的一个团队来完成。这些专业在大学里是分别设置的，独立培养、缺乏交叉。在技能培训方面，更多的是让受训者掌握数据分析工具，却缺少数据科学家思维。培养现状、学科体系还没建立数据科学概念和观点出现在科学数据处理领域、计算机科学领域、统计学领域、商业智能应用等方面。基本思想是：认为数据科学是“从领域数据中获取知识，为现有的科学研究、管理决策提供服务”。这些工作还不足以形成一个新的科学，因为它们的研究对象仍然是现实中的事物，并且相应的科学问题也都是现有科学领域的问题

13、，数据科学学科体系尚未建立。培养现状、知识结构还没有形成统一框架数据科学的研究对象、目的和方法等都与计算机科学、信息科学和知识科学有本质的不同，仅仅具备计算机技能并不能被称为一个真正的数据科学家。数据人才培养逐步发展为多领域联合培养，但缺乏系统性。在培养过程中，领域专家重点是学习如何将领域业务需求转化为数据问题交给数据分析人员，并不关注数据处理细节；而数据分析人员注重对领域专家所给的数据进行处理，缺乏对领域知识的理解。相关书籍培养现状数据人才短缺是全球性的，越来越多的大学启动了数据人才培养计划。谁是数据科学家1）从事商业数据分析的人2）在数据上做科学研究的人3）研究数据的人数据科学家培养需要一

14、个新学科体系科学研究数据方法数据科学基础理论数据界探索数据技术及应用数据科学家培养需要系统的培养体系计划学位培养针对未来从事研究数据本身的人的学位培养，应该注重数据基础理论的训练，要求掌握各种数据技术；针对未来从事在数据上做科学研究的人的学位培养，则应该注重学生对专业领域知识的掌握以及对领域数据学的培养，提升在专业领域的数据能力。科研人员培养应用人才培训获得数据科学学位后，继续从事科学研究活动的人。包括从事数据科学研究和从事社会科学或自然科学研究。他们已经具备了学位培养期间的专业训练，需要进一步提升他们的数据创新能力。针对从事商业数据分析的人才，包括获得数据科学学位后从事商业数据分析的人以及未接受数据科学学位培养的社会人才，注重技能培训，掌握大数据分析工具，熟悉大数据应用案例。以开展数据科学家训练营或社会技能培训的方式开展。数据科学家培养的基础条件师资条件数据条件计算条件谢谢