大数据课程体系

阅读: 评论:0

Java基础
JAVA 开发基础知识
Eclipse 开发环境
多线程技术
Socket 网络技术
Regular Expression
Java反射技术
各种实战设计模式
面向对象设计原则详解
Java collection
Reflection
JVM原理与配置、调优
Java设计模式
Linux大纲   
Linux的介绍安装
VMware Workstation虚拟软件安装ubuntu安装
Linux的常用命令
Linux系统进程管理常用命令ps、pkill、top、htop等的使用;
Linux启动流程,运行级别详解,chkconfig详解
nano编辑器
Linux权限管理:用户、组   
Linux权限管理:文件权限rwx
Linux网络管理:hosts,hostname,ifconfig
安装JDK
Hadoop
Hadoop介绍,发展史,国内外现状,未来
Hadoop 核心组成介绍及hdfs、mapreduce 体系结构
Hadoop 的集结构
Hadoop 独立模式安装与测试
Hadoop 启动与停止
SSH安装与配置
Hadoop 伪分布式和完全分布式安装配置
HDFS底层工作原理eeg平台
HDFS datanode,namenode详解
Hdfs shell
Hdfs java api
InputSplit和OutputSplit
BlockSize配置
最少副本数配置
MR作业流程分析
编写Mapper程序
编写Reducer程序
执行Mapreduce过程
Hadoop 核心类讲解,RM,NM,NN,DN
YARN调度框架事件分发机制
Hadoop底层IPC原理和RPC
Hadoop的底层google ProtoBuf的协议分析
分布式数据库
Hbase
HBase简介与RDBMS的对比
系统架构
HBase上的MapReduce
Hbase核心术语介绍
Hbase基本操作
HBase Shell以及演示
Hbase 树形表设计
Hbase 一对多 和 多对多 表设计
Hbase 调优(读、写、设计)
数据仓库Hive
Hive简介
Hive集
客户端简介
HiveQL介绍与SQL的比较
数据类型
外部表和分区表
ddl与CLI客户端演示
dml与CLI客户端演示
select与CLI客户端演示
Operators 和 functions与CLI客户端演示
Hive server2 与jdbc
用户自定义函数(UDF 和 UDAF)的开发与演示
Hive 优化
数据迁移工具Sqoop
Sqoop简介和配置
Sqoop shell常见命令
Sqoop导入与导出
Flume分布式
日志框架
flume简介-基础知识
flume安装与测试
flume部署方式
flume source相关配置及测试
flume sink相关配置及测试
flume selector 相关配置与案例分析
flume Sink Processors相关配置和案例分析
flume Interceptors相关配置和案例分析
flume AVRO Client开发
flume 和kafka 的整合
Zookeeper
开发
Zookeeper java api开发
Zookeeper rmi高可用分布式集开发
Zookeeper redis高可用监控实现
Netty 异步io通信框架
Zookeeper实现netty分布式架构的高可用
kafka
kafka是什么
kafka体系结构
kafka配置详解
kafka的安装
kafka的存储策略
kafka分区特点
kafka的发布与订阅
zookeeper协调管理
java编程操作kafka
scala编程操作kafka
flume 和kafka 的整合
Kafka 和storm 的整合
Storm
Storm的基本概念
Storm的应用场景
Storm和Hadoop的对比
Storm集的安装的linux环境准备
zookeeper集搭建
Storm集搭建
Storm配置文件配置项讲解
集搭建常见问题解决
Storm常用组件和编程API:Topology、 Spout、Bolt
洗衣篓Storm分组策略(stream groupings)
使用Strom开发一个WordCount例子
Storm程序本地模式debug、Storm程序远程debug
Storm事物处理
Storm消息可靠性及容错原理
Storm结合消息队列Kafka:消息队列基本概念(Producer、Consumer、Topic、Broker等)、消息队列Kafka使用场景、Storm结合Kafka编程API
Storm Trident概念
Trident state 原理
Trident开发实例
Storm DRPC(分布式远程调用)介绍
Storm DRPC实战讲解
Storm和Hadoop 2.x的整合:Storm on Yarn
Storm开发实战: Kafka+Storm+Hbase+redis项目实战,以及多个案例
Scala
scala解释器、变量、常用数据类型等
scala的条件表达式、输入输出、循环等控制结构
scala的函数、默认参数、变长参数等
scala的数组、变长数组、多维数组等
scala的映射、元组等操作
scala的类,包括bean属性、辅助构造器、主构造器等
scala的对象、单例对象、伴生对象、扩展类、apply方法等
scala的包、引入、继承等概念
scala的特质
scala的操作符
scala的高阶函数
scala的集合
scala数据库连接
Spark
大数据处理
Spark简介与应用场景
RDD
Transformation
Action
Spark计算PageRank
Lineage
Spark模型简介
Spark缓存策略和容错处理
宽依赖与窄依赖
Spark配置讲解
Spark集搭建
集搭建常见问题解决
Spark原理核心组件和常用RDD
数据本地性
任务调度
DAGScheduler
大数据日志分析
TaskScheduler
Spark源码解读
性能调优
Spark和Hadoop2.x整合:Spark on Yarn原理
Spark Streaming
实时计算
活塞销Spark Streaming:数据源和DStream
无状态transformation与有状态transformation
Streaming Window的操作
sparksql 编程实战
spark的多语言操作
Spark MLlib
机器学习
介绍
回归算法
分类算法
第四章 推荐系统 
第五章 聚类
Kmeans
Docker
基本介绍
vm docker 对比
docker基本架构介绍
unfs cgroup namespace
进程虚拟化 轻量级虚拟化
docker 安装
docker 镜像制作
docker 常用命令
docker 镜像迁移
docker pipework
1docker weave
玻璃压延机
虚拟化KVM
虚拟化介绍,虚拟化适用场景等等
Qemu Libvirt & KVM
安装KVM, Qemu, Libvirt
QEMU-KVM: 安装第一个能上网的虚拟机
Kvm虚拟机 nat,网桥基本原理
kvm虚拟机克隆
消防正压送风口kvm虚拟机vnc配置
kvm虚拟机扩展磁盘空间
Kvm快照
Kvm 迁移
Java,python,c语言编程控制kvm
云平台OpenStack
openstack介绍和模块基本原理分析
openstack多节点安装部署【a.采用centos6.x系统】
Keystone基本原理
glance
Cinder
Swift
Neutron
Openstack api 二次开发

本文发布于:2023-06-08 17:28:16,感谢您对本站的认可!

本文链接:https://patent.en369.cn/patent/3/131634.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:配置   安装   介绍   分析
留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2022 Comsenz Inc.Powered by © 369专利查询检索平台 豫ICP备2021025688号-20 网站地图