大数据工程师必备技能课件.pptx

1、大数据工程师必备技能演讲人2020-12-0201数据可视化数据可视化ABCDRD3.jsEChartsExcel02机器学习机器学习机器学习基础1机器学习工具2机器学习机器学习基础0103聚类时间序列推荐系统02040506回归分析文本挖掘决策树机器学习机器学习基础支持向量机01子主题02神经网络03机器学习机器学习工具01Mahout03TensorFlow（Google 系）05DMTK（微软分布式机器学习工具）02Spark Mlib04Amazon Machine Learning03算法算法一致性paxosraf tgossip算法数据结构栈，对垒，链表散列表二叉树，红黑树，B树图

2、常用算法 最 小 生 成 树 最 短 路 径 矩 阵 的 存 储 和 运 算插入排序桶排序堆排序快速排序排 序 最 大 子 数 组 最 长 公 共 子 序 列04云计算云计算云服务SaaSPaaSIaaSOpenstack Docker 05分布式存储分布式存储一HDFS06大数据通用处理平台大数据通用处理平台ABCSparkFlinkHadoop07资源调度资源调度01Yarn02Mesos08数据分析/数据仓库（SQL类）数据分析/数据仓库（SQL类）PigHiveKylinImpalaSpark DataFrameSpark SQL数据分析/数据仓库（SQL类）DLogStashEKibanaAPhoenixBELKCElasticSearch09消息队列消息队列ABCDEKafkaRocketMQZeroMQActiveMQRabbitMQ10流式计算流式计算Storm/Jstorm1Spark Streaming211日志收集日志收集FlumeScribe12编程语言编程语言ABCDEPythonRRubyJavaScala13数据分析挖掘数据分析挖掘ABCMATLABSPSSSAS感谢聆听