长沙大数据培训课程哪家好
掌握大数据爬虫技术开发;掌握大数据搜索引擎技术开发;掌握大数据消息队列使用及调优;掌握Storm实时数据分析;掌握分布式系统开发;掌握互联网用户日志分析。
掌握离线数据收集、数据存储、数据计算、任务调度、数据导入导出、数据报表开发技术;掌握用户日志分析系统(业务分析、编码实现、调度配置、数据导出、数据可视化);掌握数据仓库管理、元数据管理、数据稽查等常见处理技术掌握Hadoop高可用配置及管理。
在大数据Spark实战的项目当中,需要重点的知识点是:
互联网电商用户画像建模、开发、数据导入、 数据存储(Hbase+Phoenix)、可视化大数据反欺诈系统、航空领域反爬虫项目实战、系统架构、防爬规则、 Nginx+lua+kafak整合、高频IP检测、 SparkStreaming规则引擎开发、 数据可视化flink的简介、最值函数aggregate和minBy、maxBy、 去重distict和关联join函数、union合并和rebalance负载均衡、 3种分区方式(hash、range、sort)、source数据源、flink的sink操作、 本地执行和集群执行、广播变量的操作、分布式缓存的使用、 无重叠数据处理、 窗口划分、windowTime、同步hbase、flink的source源、 基于mysql的sink操作、flink的容错、flink对接kafka数据、案例实战根据市场反馈的数据来看,以上能力全部具备的话能够胜任:
Spark相关工作,包括ETL工程师、Spark工程师、Hbase工程师、用户画像系统工程师、大数据反欺诈工程师。目前企业急缺Spark相关人才。薪资在15k左右;