极客时间出品的专栏课《零基础入门 Spark》作者吴磊,价值59元现在免费分享。
课程介绍
在数据应用领域,Apache Spark已成为不可或缺的中坚力量,为各大头部互联网公司提供稳定、高效的数据处理能力。但学习Spark的道路却往往充满困惑与挑战。资料繁杂,难以梳理清晰的学习脉络;编程语言的门槛,让初学者望而却步;算子众多,难以熟记于心。为此,我们特别邀请经验丰富的吴磊老师,为你量身打造零基础入门Spark的“三步走”方法论。
这套方法论将带你从熟悉Spark开发API与常用算子开始,逐步深入吃透Spark的核心原理,最后玩转Spark的计算子框架。在吴老师的引导下,你将不仅理解每个算子的用法和适用场景,更能掌握RDD编程模型、调度系统、内存管理等核心知识。同时,通过实战项目的操作,你将能够在实际应用中灵活运用所学知识,提升自己的技能水平。
课程将围绕四个模块展开,涵盖基础知识、Spark SQL、Spark MLlib和Structured Streaming。你将从Word Count项目起步,逐步学习数据清洗、关联、机器学习等高级应用。在课程中,吴老师将结合实际案例,深入浅出地讲解每个模块的核心原理和最佳实践。无论是初学者还是有经验的开发者,都能从中受益匪浅。通过这门课程的学习,你将能够轻松打开Spark应用开发的大门,为未来的职业生涯奠定坚实的基础。
课程目录
│ ├── 开篇词丨入门Spark,你需要学会“三步走”.html
│ ├── 开篇词丨入门Spark,你需要学会“三步走”.m4a
│ └── 开篇词丨入门Spark,你需要学会“三步走”.pdf
├── 02-基础知识(1讲)
│ ├── 01丨Spark:从“大数据的HelloWorld”开始.html
│ ├── 01丨Spark:从“大数据的HelloWorld”开始.m4a
│ ├── 01丨Spark:从“大数据的HelloWorld”开始.pdf
│ ├── 02丨RDD与编程模型:延迟计算是怎么回事?.html
│ ├── 02丨RDD与编程模型:延迟计算是怎么回事?.m4a
│ ├── 02丨RDD与编程模型:延迟计算是怎么回事?.pdf
│ ├── 03丨RDD常用算子(一):RDD内部的数据转换.html
│ ├── 03丨RDD常用算子(一):RDD内部的数据转换.m4a
│ ├── 03丨RDD常用算子(一):RDD内部的数据转换.pdf
│ ├── 04丨进程模型与分布式部署:分布式计算是怎么回事?.html
│ ├── 04丨进程模型与分布式部署:分布式计算是怎么回事?.m4a
│ ├── 04丨进程模型与分布式部署:分布式计算是怎么回事?.pdf
│ ├── 05丨调度系统:DAG、Stages与分布式任务.html
│ ├── 05丨调度系统:DAG、Stages与分布式任务.m4a
│ ├── 05丨调度系统:DAG、Stages与分布式任务.pdf
│ ├── 06丨Shuffle管理:为什么Shuffle是性能瓶颈?.html
│ ├── 06丨Shuffle管理:为什么Shuffle是性能瓶颈?.m4a
│ ├── 06丨Shuffle管理:为什么Shuffle是性能瓶颈?.pdf
│ ├── 07丨RDD常用算子(二):Spark如何实现数据聚合?.html
│ ├── 07丨RDD常用算子(二):Spark如何实现数据聚合?.m4a
│ ├── 07丨RDD常用算子(二):Spark如何实现数据聚合?.pdf
│ ├── 08丨内存管理:Spark如何使用内存?.html
│ ├── 08丨内存管理:Spark如何使用内存?.m4a
│ ├── 08丨内存管理:Spark如何使用内存?.pdf
│ ├── 09丨RDD常用算子(三):数据的准备、重分布与持久化.html
│ ├── 09丨RDD常用算子(三):数据的准备、重分布与持久化.m4a
│ ├── 09丨RDD常用算子(三):数据的准备、重分布与持久化.pdf
│ ├── 10丨广播变量-累加器:共享变量是用来做什么的?.html
│ ├── 10丨广播变量&累加器:共享变量是用来做什么的?.m4a
│ ├── 10丨广播变量-累加器:共享变量是用来做什么的?.pdf
│ ├── 11丨存储系统:数据到底都存哪儿了?.html
│ ├── 11丨存储系统:数据到底都存哪儿了?.m4a
│ ├── 11丨存储系统:数据到底都存哪儿了?.pdf
│ ├── 12丨基础配置详解:有哪些配置项是你必须要关注的?.html
│ ├── 12丨基础配置详解:有哪些配置项是你必须要关注的?.m4a
│ └── 12丨基础配置详解:有哪些配置项是你必须要关注的?.pdf
├── 03-Spark SQL (4讲)
│ ├── 13丨让我们从《小汽车摇号分析》开始.html
│ ├── 13丨让我们从《小汽车摇号分析》开始.m4a
│ ├── 13丨让我们从《小汽车摇号分析》开始.pdf
│ ├── 14丨DataFrame与SparkSQL的由来.html
│ ├── 14丨DataFrame与SparkSQL的由来.m4a
│ ├── 14丨DataFrame与SparkSQL的由来.pdf
│ ├── 15丨数据源与数据格式:DataFrame从何而来?.html
│ ├── 15丨数据源与数据格式:DataFrame从何而来?.m4a
│ ├── 15丨数据源与数据格式:DataFrame从何而来?.pdf
│ ├── 16丨数据转换:如何在DataFrame之上做数据处理?.html
│ ├── 16丨数据转换:如何在DataFrame之上做数据处理?.m4a
│ ├── 16丨数据转换:如何在DataFrame之上做数据处理?.pdf
│ ├── 17丨数据关联:不同的关联形式与实现机制该怎么选?.html
│ ├── 17丨数据关联:不同的关联形式与实现机制该怎么选?.m4a
│ ├── 17丨数据关联:不同的关联形式与实现机制该怎么选?.pdf
│ ├── 18丨数据关联优化:都有哪些Join策略,开发者该如何取舍?.html
│ ├── 18丨数据关联优化:都有哪些Join策略,开发者该如何取舍?.m4a
│ ├── 18丨数据关联优化:都有哪些Join策略,开发者该如何取舍?.pdf
│ ├── 19丨配置项详解:哪些参数会影响应用程序执行性能?.html
│ ├── 19丨配置项详解:哪些参数会影响应用程序执行性能?.m4a
│ ├── 19丨配置项详解:哪些参数会影响应用程序执行性能?.pdf
│ ├── 20丨Hive+Spark强强联合:分布式数仓的不二之选.html
│ ├── 20丨Hive+Spark强强联合:分布式数仓的不二之选.m4a
│ ├── 20丨Hive+Spark强强联合:分布式数仓的不二之选.pdf
│ ├── 21丨SparkUI(上):如何高效地定位性能问题?.html
│ ├── 21丨SparkUI(上):如何高效地定位性能问题?.m4a
│ ├── 21丨SparkUI(上):如何高效地定位性能问题?.pdf
│ ├── 22丨SparkUI(下):如何高效地定位性能问题?.html
│ ├── 22丨SparkUI(下):如何高效地定位性能问题?.m4a
│ └── 22丨SparkUI(下):如何高效地定位性能问题?.pdf
├── 04-SparkMLlib(2讲)
│ ├── 23丨SparkMLlib:从“房价预测”开始.html
│ ├── 23丨SparkMLlib:从“房价预测”开始.m4a
│ ├── 23丨SparkMLlib:从“房价预测”开始.pdf
│ ├── 24丨特征工程(上):有哪些常用的特征处理函数?.html
│ ├── 24丨特征工程(上):有哪些常用的特征处理函数?.m4a
│ ├── 24丨特征工程(上):有哪些常用的特征处理函数?.pdf
│ ├── 25丨特征工程(下):有哪些常用的特征处理函数?.html
│ ├── 25丨特征工程(下):有哪些常用的特征处理函数?.m4a
│ ├── 25丨特征工程(下):有哪些常用的特征处理函数?.pdf
│ ├── 26丨模型训练(上):决策树系列算法详解.html
│ ├── 26丨模型训练(上):决策树系列算法详解.m4a
│ ├── 26丨模型训练(上):决策树系列算法详解.pdf
│ ├── 27丨模型训练(中):回归、分类和聚类算法详解.html
│ ├── 27丨模型训练(中):回归、分类和聚类算法详解.m4a
│ ├── 27丨模型训练(中):回归、分类和聚类算法详解.pdf
│ ├── 28丨模型训练(下):协同过滤与频繁项集算法详解.html
│ ├── 28丨模型训练(下):协同过滤与频繁项集算法详解.m4a
│ ├── 28丨模型训练(下):协同过滤与频繁项集算法详解.pdf
│ ├── 29丨SparkMLlibPipeline:高效开发机器学习应用.html
│ ├── 29丨SparkMLlibPipeline:高效开发机器学习应用.m4a
│ └── 29丨SparkMLlibPipeline:高效开发机器学习应用.pdf
├── 05-特别放送(1讲)
│ ├── 用户故事丨小王:保持空杯心态,不做井底之蛙.html
│ ├── 用户故事丨小王:保持空杯心态,不做井底之蛙.m4a
│ └── 用户故事丨小王:保持空杯心态,不做井底之蛙.pdf
├── 06-StructuredStreaming(1讲)
│ ├── 30丨StructuredStreaming:从“流动的WordCount”开始.html
│ ├── 30丨StructuredStreaming:从“流动的WordCount”开始.m4a
│ ├── 30丨StructuredStreaming:从“流动的WordCount”开始.pdf
│ ├── 31丨新一代流处理框架:Batchmode和Continuousmode哪家强?.html
│ ├── 31丨新一代流处理框架:Batchmode和Continuousmode哪家强?.m4a
│ ├── 31丨新一代流处理框架:Batchmode和Continuousmode哪家强?.pdf
│ ├── 32丨Window操作&Watermark:流处理引擎提供了哪些优秀机制?.html
│ ├── 32丨Window操作&Watermark:流处理引擎提供了哪些优秀机制?.m4a
│ ├── 32丨Window操作&Watermark:流处理引擎提供了哪些优秀机制?.pdf
│ ├── 33丨流计算中的数据关联:流与流、流与批.html
│ ├── 33丨流计算中的数据关联:流与流、流与批.m4a
│ ├── 33丨流计算中的数据关联:流与流、流与批.pdf
│ ├── 34丨Spark+Kafka:流计算中的“万金油”.html
│ ├── 34丨Spark+Kafka:流计算中的“万金油”.m4a
│ └── 34丨Spark+Kafka:流计算中的“万金油”.pdf
├── 08-特别放送(1讲)
│ ├── 用户故事丨小王:保持空杯心态,不做井底之蛙.html
│ ├── 用户故事丨小王:保持空杯心态,不做井底之蛙.m4a
│ └── 用户故事丨小王:保持空杯心态,不做井底之蛙.pdf
└── 09-结束语(2讲)
├── 结束语丨进入时间裂缝,持续学习.html
├── 结束语丨进入时间裂缝,持续学习.m4a
└── 结束语丨进入时间裂缝,持续学习.pdf
9 directories, 114 files
以上就是极客时间吴磊老师的专栏课《零基础入门 Spark》的详细介绍了。
本文由提供IT教程网提供,仅供学习交流使用,未经许可,禁止转载!
原课程地址:https://time.geekbang.org/column/intro/100090001,有能力的朋友请支持正版,谢谢!
评论(0)