【学堂在线】 大数据平台核心技术

课程介绍：

主要由业界一线研发人员讲授大数据平台涉及到的分布式系统构架、分布式编程、分布式流处理、分布式数据存储管理、内存计算支持等内容，通过实践，力图覆盖大数据处理平台的主要核心技术，帮助学生了解分布式大数据平台设计中的关键挑战，提出实际的解决方案，为研究生未来研究方向提供参考。课程重点讲解设计原理，突出技术深度和实战性。

课程描述：

讲授分布式系统构架、分布式编程、分布式流处理、分布式数据存储管理、内存计算支持等内容，突出技术深度和实战性。

〖课程目录〗:

• | └──03 大数据平台核心技术
• | | ├──第八讲 内存计算
• | | | ├──10.1.1 软硬件趋势、分布式计算简史与内存计算（主讲人：强琦）.mp4 57.73M
• | | | ├──10.2.1 分布式计算（主讲人：强琦）.mp4 107.99M
• | | | ├──10.3.1 内存计算（主讲人：强琦）.mp4 51.48M
• | | | ├──10.4.1 统一的计算框架（主讲人：强琦）.mp4 52.94M
• | | | └──10.5.1 业界经典系统技术分析-spark&flink（主讲人：强琦）.mp4 22.35M
• | | ├──第二讲 分布式存储
• | | | ├──2.1.1 大纲（主讲人：姚文辉）.mp4 7.10M
• | | | ├──2.10.1 写流程的另一种常见方式：主从模式（主讲人：姚文辉）.mp4 8.23M
• | | | ├──2.11.1 链式写异常流程（主讲人：姚文辉）.mp4 6.74M
• | | | ├──2.12.1 写异常处理的另一种方法-Seal and New（主讲人：姚文辉）.mp4 10.46M
• | | | ├──2.13.1 读正常流程（主讲人：姚文辉）.mp4 6.65M
• | | | ├──2.14.1 读流程优化-BackupRead（主讲人：姚文辉）.mp4 14.54M
• | | | ├──2.15.1 IO QoS（主讲人：姚文辉）.mp4 11.03M
• | | | ├──2.16.1 数据正确性：checksum（主讲人：姚文辉）.mp4 11.33M
• | | | ├──2.17.1 数据可靠性-Replication（主讲人：姚文辉）.mp4 12.56M
• | | | ├──2.18.1 数据均衡-Rebalance（主讲人：姚文辉）.mp4 10.22M
• | | | ├──2.19.1 垃圾回收-Garbage collection（主讲人：姚文辉）.mp4 9.66M
• | | | ├──2.2.1 初步认识大数据对分布式存储系统的需求.mp4 12.14M
• | | | ├──2.20.1 Erasure coding（主讲人：姚文辉）.mp4 10.98M
• | | | ├──2.21.1 Erasure coding（3,2）写入和读取过程（主讲人：姚文辉）.mp4 9.57M
• | | | ├──2.22.1 元数据管理的高可用性和可扩展性（主讲人：姚文辉）.mp4 17.45M
• | | | ├──2.23.1 元数据管理的高可用性（主讲人：姚文辉）.mp4 16.59M
• | | | ├──2.24.1 Paxos概要（主讲人：姚文辉）.mp4 12.31M
• | | | ├──2.25.1 Raft（主讲人：姚文辉）.mp4 4.72M
• | | | ├──2.26.1 元数据管理的可扩展性（主讲人：姚文辉）.mp4 15.15M
• | | | ├──2.27.1 不同存储介质的特性（主讲人：姚文辉）.mp4 8.69M
• | | | ├──2.28.1 盘古混合存储（主讲人：姚文辉）.mp4 19.31M
• | | | ├──2.3.1 理解大数据对分布式存储系统的需求（主讲人：姚文辉）.mp4 4.92M
• | | | ├──2.4.1 具体说明大数据对分布式存储系统的需求（主讲人：姚文辉）.mp4 13.60M
• | | | ├──2.5.1 大规模分布式存储的挑战（主讲人：姚文辉）.mp4 5.11M
• | | | ├──2.6.1 小概率事件-Raid卡故障（主讲人：姚文辉）.mp4 36.68M
• | | | ├──2.7.1 分布式存储系统举例（主讲人：姚文辉）.mp4 42.08M
• | | | ├──2.8.1 分布式存储系统重要功能设计要点剖析（主讲人：姚文辉）.mp4 5.87M
• | | | └──2.9.1 链式写正常流程（主讲人：姚文辉）.mp4 6.83M
• | | ├──第九讲 大规模数据的分布式机器学习平台
• | | | └──11.1.1 大规模数据的分布式机器学习平台（主讲人：褚葳）.mp4 108.43M
• | | ├──第六讲 全局数据管理与调度
• | | | ├──7.1.1 提纲（主讲人：罗李）.mp4 17.75M
• | | | ├──7.2.1 课程背景介绍（主讲人：罗李）.mp4 22.71M
• | | | ├──7.3.1 前序知识（主讲人：罗李）.mp4 43.57M
• | | | ├──7.4.1 分布式节点距离计算法则（主讲人：罗李）.mp4 18.15M
• | | | ├──7.5.1 数据分布策略（主讲人：罗李）.mp4 16.38M
• | | | ├──7.6.1 分布式计算调度（主讲人：罗李）.mp4 15.24M
• | | | ├──7.7.1 数据就近原则计算如何容错（主讲人：罗李）.mp4 34.61M
• | | | └──7.8.1 ODPS跨集群数据依赖（主讲人：罗李）.mp4 25.81M
• | | ├──第七讲 流式计算的系统设计与实现
• | | | ├──9.1.1 流式计算的系统设计与实现（主讲人：强琦）.mp4 61.70M
• | | | ├──9.2.1 与批量计算的区别（主讲人：强琦）.mp4 12.03M
• | | | ├──9.3.1 业界典型系统技术概要分析（主讲人：强琦）.mp4 57.09M
• | | | ├──9.4.1 核心技术（主讲人：强琦）.mp4 61.14M
• | | | ├──9.5.1 消息机制（主讲人：强琦）.mp4 36.08M
• | | | ├──9.6.1 有状态计算、并行DAG、抢占式调度和资源隔离、Failover机制（主讲人：强琦）.mp4 58.05M
• | | | └──9.7.1 StreamSQL（主讲人：强琦）.mp4 36.34M
• | | ├──第三讲 资源管理与任务调度
• | | | ├──3.1.1 阿里云飞天分布式调度（主讲人：陶阳宇）.mp4 78.30M
• | | | ├──3.2.1 任务调度（主讲人：陶阳宇）.mp4 71.97M
• | | | ├──3.3.1 资源调度（主讲人：陶阳宇）.mp4 31.20M
• | | | ├──3.4.1 容错机制（主讲人：陶阳宇）.mp4 19.55M
• | | | ├──3.5.1 规模挑战 （主讲人：陶阳宇）.mp4 22.95M
• | | | ├──3.6.1 安全域性能隔离（主讲人：陶阳宇）.mp4 24.80M
• | | | └──3.7.1 分布式调度的发展方向（主讲人：陶阳宇）.mp4 10.59M
• | | ├──第四讲 分布式编程模型的设计与演化
• | | | ├──4.1.1 数据格式和抽象（主讲人：吴威）.mp4 25.27M
• | | | ├──4.2.1 分布式编程模型（主讲人：吴威）.mp4 21.15M
• | | | ├──4.3.1 MapReuduce编程模型（主讲人：吴威）.mp4 57.65M
• | | | ├──4.4.1 关系型数据编程模型（主讲人：吴威）.mp4 37.17M
• | | | ├──4.5.1 分布式图计算模型（主讲人：吴威）.mp4 26.48M
• | | | └──4.6.1 分布式编程未来展望（主讲人：吴威）.mp4 32.93M
• | | ├──第五讲 离线分布式关系型计算
• | | | ├──6.1.1 离线分布式关系型计算_1（主讲人：王鹏飞）.mp4 27.02M
• | | | ├──6.2.1 关系型计算基本原理_2（主讲人：王鹏飞）.mp4 69.28M
• | | | ├──6.3.1 分布式环境中的连接计算和聚合计算（主讲人：王鹏飞）.mp4 186.53M
• | | | └──6.4.1 其他计算和物理优化（主讲人：王鹏飞）.mp4 55.16M
• | | ├──第一讲 大数据和ODPS
• | | | ├──1.1.1 大数据处理平台概述（主讲人：武永卫）.mp4 100.35M
• | | | └──1.2.1 大数据平台ODPS（主讲人：程永）.mp4 101.05M
• | | ├──实践1：通过两阶段提交协议完成数据上传
• | | | ├──5.1.1 分布式事务 (主讲人：冯骁).mp4 32.69M
• | | | ├──5.2.1 分布式一致性算法(主讲人：冯骁).mp4 14.05M
• | | | ├──5.3.1 两阶段提交与三阶段提交(主讲人：冯骁).mp4 29.11M
• | | | └──5.4.1 实践--介绍(主讲人：冯骁).mp4 14.39M
• | | ├──实践2：编写MR完成Group By+Join操作
• | | | └──8.1.1 实践2：编写MR完成Group By+Join操作（主讲人：谢德军）.mp4 49.23M
• | | └──实践3：实现MapReduce编程运行时库
• | | | ├──12.1.1 分布式环境下的新问题（主讲人：徐冬）.mp4 47.98M
• | | | ├──12.2.1 工程实现范例（主讲人：徐冬）.mp4 35.17M
• | | | └──12.3.1 课程设计相关问题（主讲人：徐冬）.mp4 8.49M