农业大数据应用进展与思考资料课件.ppt

1、农业大数据应用进展与思考农业大数据应用进展与思考许 世 卫 研究员中国农科院信息所农业监测预警团队 首席科学家 农 业 部 农 业 信 息 服 务 技 术 重 点 实 验 室 主 任 2016年7月9日 山东泰安内内 容容二、当前大数据应用特点与不足一、农业大数据应用进展三、几点思考大数据应用是思维、理念、方法、能力的改变大数据应用是思维、理念、方法、能力的改变气象数据气象数据生物信息数据生物信息数据资源环境数据资源环境数据 生长监测数据生长监测数据农业统计数据农业统计数据u农业获取从统计向自动感知转变u数据分析从样本向全体透视转变u大数据应用正驱动农业生产、经营、管理变革大数据已经成为国家战

2、略问题大数据已经成为国家战略问题发布时间机构政策名称2015年7月1日国务院国务院办公厅关于运用大数据加强对市场主体服务和监管的若干意见（国办发201551号）2015年9月5日国务院国务院关于印发促进大数据发展行动纲要的通知（国发201550号）2016年3月十三五规划纲要中华人民共和国国民经济和社会发展第十三个五年规划纲要提出：u实施国家大数据战略。u把大数据作为基础性战略资源，全面实施促进大数据发展行动，加快推动数据资源共享开放和开发应用，助力产业转型升级和社会治理创新。u加快政府数据开放共享。统筹布局建设国家大数据平台、数据中心等基础设施。大数据成为部门重点任务大数据成为部门重点任务u

3、 未来5-10年内：实现农业数据有序共享开放，初步完成农业数据化改造。u 2017年底前：农业部及省级农业行政主管部门数据共享的范围边界和使用方式基本明确，跨部门、跨区域数据资源共享共用格局基本形成。u 2018年底前：实现“金农工程”信息系统与中央政府其他相关信息系统通过统一平台进行数据共享和交换。u 2020年底前：逐步实现农业部和省级农业行政主管部门数据集向社会开放，实现农业农村历史资料的数据化、数据采集的自动化、数据使用的智能化、数据共享的便捷化。u 2025年：实现农业产业链、价值链、供应链的联通，大幅提升农业生产智能化、经营网络化、管理高效化、服务便捷化的能力和水平。农业部关于推进

4、农业农村大数据发展的实施意见我国农村数据资源不断整合，数据管理工作取得了较大进展，涉农数据库不断增多，政府、科研单位、涉农企业三位一体的农业农村大数据体系不断完善。目前，我国已建成大型涉农数据库100多个，约占世界农业信息数据库总数的10%。-中国农村信息化发展报告（2014-2015）（一）（一）数据资源进一步拓宽数据资源进一步拓宽以农业部及各省市农业厅、农业局、农委等政府部门为中心，建立了从中央到地方一系列涉农数据库，储存了大量的、有价值的数据资源。1.1.政府数据政府数据农业部：农业部：共有12个司局、9家部属事业单位直接开展农业信息监测统计工作。12个司局9家部属事业单位人事司市场司经

5、管司（站）计划司科教司种植业司农机化司部信息中心草原监理中心农药检定所农技中心外经中心农研中心畜牧业司兽医局农垦局农产品加工局渔业局中国绿色食品发展中心全国水产技术推广总站中国动物疫病预防控制中心u 包括农业综合统计、农业生产和服务统计、农产品价格统计、农村经营管理、农产品加工及农业资源和农村能源环境等信息，每年共计产生报表300张，指标5万个（次）。农业部逐步建立并完善了21套统计报表制度，5万个指标u建设了农业综合统计、农产品批发市场价格、全国农情调度、草原监测、中国县域农村经济基础资料数据库等60多个数据库。涉农企业储存了大量的农业生产、流通等相关数据，数据资源总量大，且数据库数量多、类

6、型杂，但数据资源利用率低、共享困难，数据存储标准缺乏。典型的涉农企业包括：北京新发地批发市场；CNKI 社会经济统计数据；2.2.企业数据企业数据中国农业科学院、各省市农科院、涉农高校、涉农科研企业，在科学研究的基础上，储存了大量的农业科学数据，涉及土壤、栽培、植保、采收、流通等农业各个领域。典型的科学数据共享单位包括：中国农业科学数据；中国水产科学数据；中国热作科学数据；3.3.专业数据专业数据截止到2014年底数据资源59.56TB，用户共计94,212名网站访问人次1800万为2384项重大科研项目/课题提供了有效的数据服务u国家地球系统科学数据共享平台 首批经科技部、财政部认定的23家

7、国家科技基础条件平台 中科院地理所牵头，国内外40多家单位参与。典型科学数据共享平台典型科学数据共享平台u国家农业科学数据共享中心：是科技部首批认定的23个国家级科技平台之一。由中国农科院农业信息所主持，中国农业科学院部分专业研究所、中国水产科学研究院、中国热带农业科学院等单位参加。（二）数据开放共享得到加强（二）数据开放共享得到加强农业部：2003年起推出的农业部经济信息发布日历制度 2007年起建立重要数据共享制度，编印农业农村经济重要数据月报 截至2014年5月底，已有44个数据资源针对不同用户全部或部分共享（公开）国家统计局：制定了农业产值和价格综合统计报表制度国家发改委：建立了全国粮

8、食价格监测报告制度商务部：建立了生活必需品和重要生产资料市场监测系统国家粮食局：建立了国家粮食流通统计制度在一系列统计制度的规定下，农业生产、价格等数据得到一定程度的开放共享。2014年上半年，上海市政府开放了专门的政府数据开放服务平台上海政府数据服务网涵盖了经济建设、资源环境、教育科技、道路交通、社会发展、公共安全、城市建设等11个重点领域,累计开放数据资源共470项。地方政府的数据开放共享情况地方政府的数据开放共享情况 北京市经信委也组织各政务部门建设了 北京市政务数据资源网 网站已发布了36个政府部门的306类数据。221行动计划信息平台已经整合了市级15个单位和13个郊区县的涉农信息。

9、其中，仅农村经济基础数据库数据量达到30亿条。北京上海美国数据开放共享情况美国数据开放共享情况 联邦政府建立一个统一的数据开放门户网站-DATA.Gov,全面开放政府（包括美农部在内）拥有的公共数据。182,042 数据集 USDA在Data.gov上设立了“食物、农业和农村虚拟社区”（Food,AgricultureandRuralvirtualcommunity）http:/www.usda.gov/wps/portal/usda/usdahome?navid=data美国农业部数据开放目录18个部门共计开放了625个数据集p移动采集技术 “农信采”（便携式农产品全息市场信息采集器），是一

10、款新型的农产品市场信息采集设备。“农信采”的推广应用，将为我国农产品市场信息标准化、即时性采集带来革命性的变化，可广泛应用于田头市场、批发市场、零售市场的农产品全息信息采集。Windows mobile版本安卓版本（三）专业化的数据采集与分析应用相结合农业部农业信息速采系统农情采（四）大数据处理应用于生产决策（四）大数据处理应用于生产决策u 农业物联网区域试验工程扎实推进，取得重要阶段性成效，总结推广了426项农业物联网软硬件产品、技术和模式。通过实时获取的大数据，开展即时化的决策支持。u 在大田种植的“四情”监测、农机精准作业等方面大数据辅助精准决策u 在畜禽养殖中利用大数据进行体征监测、精

11、准饲喂、疫病预警等应用u 在水产养殖中利用大数据开展水体监控、精准投喂、鱼病预警、远程诊断等决策应用。CAMES模型tntn-1tn-2tn-3投入品监测数据投入品监测数据投入品监测数据投入品监测数据投入品监测数据气象监测数据投入品监测数据投入品监测数据价格监测数据投入品监测数据投入品监测数据突发事件及政策(熵值)18%220%35%46%52%620%717%822%02000400060008000100001200005101520250200040006000800010000120000510152025020004000600080001000012000051015202518%

12、220%35%46%52%620%717%822%18%220%35%46%52%620%717%822%实时监测分类解析政策、管理方案t t-1t-2t-3周期 T（根据需要可以为时、天、周、月、年）单产分析结果规模分析结果价格分析结果消费分析结果基于大数据的基于大数据的CAMESCAMES模型应用模型应用u 气象数据（1960年以来的全国2000多个站点的气象数据）u 经济分县统计数据（1980年以来2862多个县区190个指标数据）u 实时监测数据(农信采采集的106种日度农产品价格)u 国家统计数据（1949年以来，产量、面积、总产品、投入等)1951年-2015年每天的温度、光照时长

13、、降水量等气象数据超过2.8亿条。年份日期单产10月1日10月2日10月3日10月4日10月5日10月6日10月7日6月1日1951气温13.412.913.813.612.713.113.418.950光照时长7.58.110.37.710.45.6911.7降水00.600.60.61.90.201952气温10.69.510.210.610.610.29.915.449光照时长9.77.88.28.89.59.810.210.7降水00.5000.40.40.51.21953气温12.212.812.811.510.210.89.516.748光照时长10.210.510.210.29.

14、96.35.811.2降水0.60.20.20.40.81.52.50.72015气温13.614.214.415.415.614.614.618.2350光照时长10.610.610.68.27.26.37.111.9降水0.6000.20.20.80.610.6u美国的农业展望大会 第 92 届u澳大利亚的农业展望大会 第 46 届u墨西哥的农业展望大会 第 3 届uOECD-FAO的农业展望大会 第 12 届至至2016年：年：（五）大数据应用于农业展望分析（五）大数据应用于农业展望分析u2014中国农业展望大会 2014年4月20-21日，首届中国农业展望大会在京召开。标志着中国特色农

15、业信息监测预警体系建设取得成效，开启了提前发布市场信号、有效引导市场、主动应对国际变化的新篇章。2015年4月20至21日，“2015年中国农业展望大会”在北京召开，农业部市场预警专家委员会发布了中国农业展望报告（2015-2024），对未来10年大陆农产品生产、消费、价格、贸易走势进行展望。有关部委、专家、国际组织代表等400多人出席大会。与会专家建议，加快建立中国特色农业信息监测预警制度，不断提高农业管理服务能力，促进农业农村经济持续健康发展。u2015中国农业展望大会2016中国农业展望大会 2016年4月22-23日，农业部市场预警专家委员会在京举办中国农业展望大会，发布中国农业展望报

16、告(2016-2025)，对未来十年大陆主要农产品市场形势进行展望预测。来自联合国粮农组织（FAO）、经合组织（OECD）、国际食品政策研究所（IFPRI）等国际组织代表，美国、欧盟、日本、巴西、新西兰、巴基斯坦、柬埔寨等国家和地区以及大陆有关部委、地方农业部门和农业企业的代表共200余人参加会议。全体大会+18场专题会，54位国内外专家演讲连续发布中国农业展望报告 1、数据不足依然是农业大数据应用中的难点u历史数据：积累的时间短u现实数据：即性差u数据完备性、系统性和持续性等方面依然滞后于先进国家。（一一）应用特点应用特点2、统计获取的数据多，感知获取的数据少目前粗略估计，数据采集中：u80

17、%的数据获取依然以人工采集和填报等传统的方式为主u20%是运用物联网传感器、网络自动抓取、文本挖掘、图像识别等新型工具和方法。3、标准规范缺乏导致数据共享困难u 农业信息化标准是农业信息化建设有序发展的根本保障，也是整合农业信息资源的基础。u 目前，缺乏覆盖农业发展全要素、农业生产全过程、农产品产销全流程的国家农业数据监测分类目录、调查指标和标准体系。中国农科院信息所已经启动了农产品市场信息采集与质量控制规范、农田信息监测点的选址要求和监测规范、小麦苗情长势自动监测规范等3项国家标准项目的研制。4、数据应用核心技术突破难度大农业具有特殊性：生产过程的自然复杂性、产品流通的区域广泛性、应用主体的

18、需求多样性。目前适农核心技术存在创新难、应用慢、共享少等问题：u生命-环境信息感知技术缺乏，高端半导体芯片产业受制于人；u农情遥感监测在预报精度、稳定性和预报周期上还要大下功夫。u决策模型的动态化、广适性不高，与作物生长系统紧密融合程度不高；u中国至今仍未开发出具有自主知识产权的适合于农业上应用的3S 技术服务体系；u适用于农业复杂环境下的微小型、节能型、低成本、智能化的设备和产品缺乏。（二二）存在）存在的问题的问题1 1、信息共享开放不够、信息共享开放不够截至目前，仍有截至目前，仍有众多众多数据数据未能未能实现实现充分充分共享共享：农产品成本调查农产品成本调查 基点县农情调度基点县农情调度（

19、500个粮食主产县）个粮食主产县）墒情监测墒情监测 草原监测草原监测 疫情监测疫情监测 渔业统计等重要经济数据资源渔业统计等重要经济数据资源 信息共享：是指已存信息（数据）被关联部门和人员的共同享用信息共享：是指已存信息（数据）被关联部门和人员的共同享用2 2、数据、数据需求与需求与数据供给不数据供给不匹配匹配u现有数据体系未能全面覆盖重点调控（类）品种的全过程信息u尚未形成从生产、市场到消费的系统性全产业链协同数据制度u尚未建立能够快速捕捉生产和市场变化的即时数据采集体系农产品监测预警工作农产品监测预警工作中，中，缺少：缺少：消费数据消费数据库存数据库存数据实时性数据实时性数据近期南方连续暴

20、雨 对农产品影响几何？养殖业受影响最为明显，尤其是水产养殖业，菜粕需求将遭受重创。范围多大？受灾数量?经济损失如何估量？3 3、数据质量、数据质量差异较大差异较大u数据粒度不能适应数据粒度不能适应分析分析研判研判工作工作的要求的要求u现有监测统计体系未能随着市场经济运行态势进行调整。u数据周期无法及时反映农业生产经营过程中出现的新情况、新问题，以及热点和难点。u粳稻消费需求强劲，但面积、产量等数据仍未纳入我部现有监测统计体系；u对农业灾情分析评估需求不断增长，但现有的灾情统计所提供的仍是农作物加总的概念，无法分解到水稻、玉米、棉花、糖料、油料等每一种具体作物。数据来源:Wind资讯198019

21、85199019952000200520101980产量:猪肉1200120018001800240024003000300036003600420042004800480054005400年份猪肉产量（万吨）年份猪肉产量（万吨）19943,204.80 20044,701.61 19953,648.40 20054,555.33 19963,158.00 20064,650.45 19973,596.30 20074,287.82 19983,883.70 20084,620.50 19994,005.60 20094,890.76 20004,031.43 20105,071.24 200

22、14,184.48 20115,060.40 20024,326.62 20125,342.70 20034,518.61 20135,493.00 互联网周刊互联网周刊20162016年上半年评选的年上半年评选的8080个大数据应用案例中农业仅个大数据应用案例中农业仅3 3例例1、浪潮、浪潮GS助力广安集团一猪一助力广安集团一猪一ID强化食品安全；强化食品安全；2、航天信息基于物联网、航天信息基于物联网的粮食流通管理解决方案；的粮食流通管理解决方案；3、农业物联网智能监控系统、农业物联网智能监控系统与其他行业相比，农业大数据应用仍然偏弱与其他行业相比，农业大数据应用仍然偏弱大数据应用正在发展

23、成为一个新兴产业大数据应用正在发展成为一个新兴产业u信息化基础设施快速发展截至2015年12月，中国网民规模达6.88亿，互联网普及率达到50.3%。其中农村网民规模达1.95亿，占比达到28.4%，较2014年底增加694万人，中国数据总量正以年均50%的增速在发展，预计到2020年将占全球的21%。u数据交易方兴未艾 贵阳大数据交易所 武汉东湖大数据交易中心 青岛大数据中心截至2016年3月底,交易金额突破7000万元,其中最大的一笔交易,是深圳一家企业花1000万元购买了物流数据。IDC 预测到2017年大数据的产值将达到850.1万美元！大数据大数据最大的作用在于给人们带来了思维上的转

24、变最大的作用在于给人们带来了思维上的转变（一）要从转变思维加快到行动落实上（一）要从转变思维加快到行动落实上u数据文化：尊重事实、强调精准推崇理性 u 万物皆比特，一切皆数据!u数据制度：数据立法、用数机制尚数环境 u数据治理：事前管理、科学决策数据创新 u资源配置：精准化、智能化、高效化大数据共享开放大数据示范应用信息化基础设施建设产业创新升级（二）构建农业基准数据（二）构建农业基准数据现代农业基准数据，是指现代农业建设过程中涉及的生产、经营、管理等各种活动所依赖的标准化、基础性、系统性数据。u现代农业自然资源基准数据u现代农业生产基准数据u现代农业市场基准数据u现代农业管理基准数据产品产品

25、贮存贮存消费消费流通流通流通流通信息传递信息传递信息传递信息传递传递传递产品流转换转换信息流产量产量智能化可追溯传递传递传递传递载货量载货量消费量消费量标准化技术标准化技术u农产品市场信息流监测技术(三三)研建研建“数据流数据流”监测模拟技术监测模拟技术u多品种市场关联预测技术u农产品市场预警多维模拟技术u生物材料的纳米传感器u搭载在无人机上的传感器u产销信息匹配捕捉技术大数据经济学原理系统模型方程+农学、生物学、地理学知识+统计学、现代计算机技术+大规模计算中心计算（四）研发大数据的智能算法农作物产量的“日监测，日预报”农学、生物学、地理学农学、生物学、地理学现代计算机技术经济学原理经济学原

26、理统计学 Strategic Position系统模型方程3系统模型方程2系统模型方程1数据数据 产量产量算法算法数据数据抽取、转换抽取、转换分类、降维计算计算编程编程方法方法算法算法大数据计算大数据计算中心中心深度耦合深度耦合 （五）完善数据制度（五）完善数据制度u形成形成农业数据共享制度农业数据共享制度u建立口径一致的农业经建立口径一致的农业经济信息会商机制济信息会商机制u探索建立权威透明的农探索建立权威透明的农业经济信息发布制度业经济信息发布制度数据共享共享平台数据标准农业数据法制保障基础基础规范规范实现实现监督监督国家农业数据开放共享平台国家农业数据开放共享平台省级部门省级部门市级部门

27、市级部门县级部门县级部门乡镇部门乡镇部门进村入户进村入户消费消费数据数据市场市场数据数据贸易贸易数据数据成本成本收益收益库存库存数据数据生产生产数据数据数据开放共享目标数据开放共享目标搭建层次清晰、覆盖全面、内容准确、互联互通搭建层次清晰、覆盖全面、内容准确、互联互通跨部门跨部门跨领域跨领域跨品种跨品种 农作物农作物 畜产品和水产品畜产品和水产品 加工品及其加工品及其他部门他部门 解决解决数据数据开放开放共享共享核心问题核心问题n 数据自身质量问题数据自身质量问题n 数据开放技术与格式数据开放技术与格式n 数据开放安全性评估数据开放安全性评估数据真实性较差数据真实性较差开放开放接口接口文字文字

28、图像图像图像图像音频音频视频视频历史数据在数据格历史数据在数据格式、数据类型、存式、数据类型、存储类型、存储标准储类型、存储标准等方面各不相同！等方面各不相同！数据接口技术数据接口技术 建立内外网隔离、用户访问控制、数据加密、秘钥分离和分级存储机制，移动保护建立内外网隔离、用户访问控制、数据加密、秘钥分离和分级存储机制，移动保护大数据。大数据。综合利用实时分析引擎、入侵检测技术、防火墙技术、防病毒技术等，建立完整、综合利用实时分析引擎、入侵检测技术、防火墙技术、防病毒技术等，建立完整、立体、多层次的系统安全防御体系，有效防止各类安全风险立体、多层次的系统安全防御体系，有效防止各类安全风险。互联互通互联互通关键数据缺失关键数据缺失数据多元化异构数据多元化异构数据标准、口径不一致数据标准、口径不一致关键数据缺失关键数据缺失E-m a i l:x u s h i w e i c a a s.c nTelephone:0086-10-82109902