JKSJ 徐文浩大数据经典论文解读（完结）

2022年2月19日 149条评论 8,321次阅读

资源简介

文章目录

大数据领域，可以说是过去 20 年计算机工程界发展最迅速、产生影响最大的一个领域。很多看起来和“大数据”没有什么关系的开源系统，都是从“大数据”这个领域里培育出来的，比如说 Kubernetes。

那么，今天我们去研读“大数据”领域的经典论文，可以说是一件投入产出比很高的事情。通过学习大数据相关的论文，我们会对计算机工程的各个领域都有更加深刻的认知，这不仅仅是对于“大数据工程师”这样的职位有用，对于做各类后端开发和系统开发的工程师来说，都会有很大的帮助。

但是我们应该怎么学呢？在网上随便一搜，虽然也能找到不少论文被人翻译成了中文，但是往往也只能告诉你“是什么”，却没有办法让你理解“为什么”。这些翻译或者文章，常常给出的是“Bigtable 系统是一个稀疏的、分布式的排序好的 Map”，却让你没有办法让你理解为什么 Bigtable 是这样设计的。

所以这次，我们邀请了极客时间《深入浅出计算机组成原理》课程的作者徐文浩老师，通过他十多年研读论文、使用各种开源框架解决大数据问题的经验，带你梳理整个大数据系统的发展脉络，为你分析在整个领域的系统不断往前迭代的过程中，所遇到的具体场景下的问题，还会深入解读其中重要的设计决策背后，能够联系到的计算机底层原理。

这样一来，通过课程内容知识的讲解，你就能够把论文和论文之间联系起来，把论文和具体技术场景联系起来，把论文和计算机原理的底层知识点联系起来。更进一步，你会真正理解 Why，而不是只知道 What。

资源目录

——/计算机教程/02极客时间/100091101-专栏课-徐文浩-大数据经典论文解读（更新33节）/
├──01-课前导读 (2讲)  
|   ├──01丨什么是大数据：从GFS到Dataflow，12年大数据生态演化图.html  5.94M
|   ├──01丨什么是大数据：从GFS到Dataflow，12年大数据生态演化图.m4a  14.61M
|   ├──01丨什么是大数据：从GFS到Dataflow，12年大数据生态演化图.pdf  8.82M
|   ├──02丨学习方法：建立你的大数据知识网络.html  2.81M
|   ├──02丨学习方法：建立你的大数据知识网络.m4a  11.42M
|   ├──02丨学习方法：建立你的大数据知识网络.pdf  5.10M
|   ├──开篇词丨读论文是成为优秀工程师的成年礼.html  2.44M
|   ├──开篇词丨读论文是成为优秀工程师的成年礼.m4a  11.59M
|   └──开篇词丨读论文是成为优秀工程师的成年礼.pdf  5.06M
├──02-基础知识篇：Google的三驾马车 (1讲)  
|   ├──03丨TheGoogleFileSystem（一）：Master的三个身份.html  2.89M
|   ├──03丨TheGoogleFileSystem（一）：Master的三个身份.m4a  14.82M
|   ├──03丨TheGoogleFileSystem（一）：Master的三个身份.pdf  3.81M
|   ├──04丨TheGoogleFileSystem（二）：如何应对网络瓶颈？.html  2.74M
|   ├──04丨TheGoogleFileSystem（二）：如何应对网络瓶颈？.m4a  11.23M
|   ├──04丨TheGoogleFileSystem（二）：如何应对网络瓶颈？.pdf  5.56M
|   ├──05丨TheGoogleFileSystem（三）：多写几次也没关系.html  1.94M
|   ├──05丨TheGoogleFileSystem（三）：多写几次也没关系.m4a  11.33M
|   ├──05丨TheGoogleFileSystem（三）：多写几次也没关系.pdf  4.72M
|   ├──06丨MapReduce（一）：源起Unix的设计思想.html  2.64M
|   ├──06丨MapReduce（一）：源起Unix的设计思想.m4a  14.51M
|   ├──06丨MapReduce（一）：源起Unix的设计思想.pdf  4.27M
|   ├──07丨MapReduce（二）：不怕失败的计算框架.html  2.04M
|   ├──07丨MapReduce（二）：不怕失败的计算框架.m4a  14.22M
|   ├──07丨MapReduce（二）：不怕失败的计算框架.pdf  3.60M
|   ├──08丨Bigtable（一）：错失百亿的Friendster.html  2.37M
|   ├──08丨Bigtable（一）：错失百亿的Friendster.m4a  13.80M
|   ├──08丨Bigtable（一）：错失百亿的Friendster.pdf  3.82M
|   ├──09丨Bigtable（二）：不认识“主人”的分布式架构.html  5.32M
|   ├──09丨Bigtable（二）：不认识“主人”的分布式架构.m4a  15.68M
|   ├──09丨Bigtable（二）：不认识“主人”的分布式架构.pdf  9.28M
|   ├──10丨Bigtable（三）：SSTable存储引擎详解.html  3.23M
|   ├──10丨Bigtable（三）：SSTable存储引擎详解.m4a  15.28M
|   ├──10丨Bigtable（三）：SSTable存储引擎详解.pdf  4.44M
|   ├──11丨通过Thrift序列化：我们要预知未来才能向后兼容吗？.html  3.72M
|   ├──11丨通过Thrift序列化：我们要预知未来才能向后兼容吗？.m4a  14.29M
|   ├──11丨通过Thrift序列化：我们要预知未来才能向后兼容吗？.pdf  5.51M
|   ├──12丨分布式锁Chubby（一）：交易之前先签合同.html  5.06M
|   ├──12丨分布式锁Chubby（一）：交易之前先签合同.m4a  13.22M
|   ├──12丨分布式锁Chubby（一）：交易之前先签合同.pdf  4.61M
|   ├──13丨分布式锁Chubby（二）：众口铄金的真相.html  3.65M
|   ├──13丨分布式锁Chubby（二）：众口铄金的真相.m4a  17.50M
|   ├──13丨分布式锁Chubby（二）：众口铄金的真相.pdf  5.82M
|   ├──14丨分布式锁Chubby（三）：移形换影保障高可用.html  3.78M
|   ├──14丨分布式锁Chubby（三）：移形换影保障高可用.m4a  18.71M
|   └──14丨分布式锁Chubby（三）：移形换影保障高可用.pdf  3.85M
├──03-加餐篇(1讲)  
|   ├──加餐1丨选择和努力同样重要：聊聊如何读论文和选论文.html  2.14M
|   ├──加餐1丨选择和努力同样重要：聊聊如何读论文和选论文.m4a  9.18M
|   ├──加餐1丨选择和努力同样重要：聊聊如何读论文和选论文.pdf  2.94M
|   ├──加餐2丨设置你的学习“母题”：如何选择阅读材料？.html  3.72M
|   ├──加餐2丨设置你的学习“母题”：如何选择阅读材料？.m4a  7.27M
|   ├──加餐2丨设置你的学习“母题”：如何选择阅读材料？.pdf  3.08M
|   ├──加餐3丨我该使用什么样的大数据系统？.html  1.85M
|   ├──加餐3丨我该使用什么样的大数据系统？.m4a  9.54M
|   └──加餐3丨我该使用什么样的大数据系统？.pdf  1.68M
├──04-数据库篇：OLAP和OLTP，一个都不能少(8讲)  
|   ├──15丨Hive：来来去去的DSL，永生不死的SQL.html  3.12M
|   ├──15丨Hive：来来去去的DSL，永生不死的SQL.m4a  13.88M
|   ├──15丨Hive：来来去去的DSL，永生不死的SQL.pdf  3.49M
|   ├──16丨从Dremel到Parquet（一）：深入剖析列式存储.html  5.12M
|   ├──16丨从Dremel到Parquet（一）：深入剖析列式存储.m4a  15.07M
|   ├──16丨从Dremel到Parquet（一）：深入剖析列式存储.pdf  5.36M
|   ├──17丨从Dremel到Parquet（二）：他山之石的MPP数据库.html  3.03M
|   ├──17丨从Dremel到Parquet（二）：他山之石的MPP数据库.m4a  14.74M
|   ├──17丨从Dremel到Parquet（二）：他山之石的MPP数据库.pdf  3.49M
|   ├──18丨Spark：别忘了内存比磁盘快多少.html  3.55M
|   ├──18丨Spark：别忘了内存比磁盘快多少.m4a  12.93M
|   ├──18丨Spark：别忘了内存比磁盘快多少.pdf  4.10M
|   ├──19丨Megastore（一）：全国各地都能写入的数据库.html  3.07M
|   ├──19丨Megastore（一）：全国各地都能写入的数据库.m4a  11.99M
|   ├──19丨Megastore（一）：全国各地都能写入的数据库.pdf  4.59M
|   ├──20丨Megastore（二）：把Bigtable玩出花来.html  3.54M
|   ├──20丨Megastore（二）：把Bigtable玩出花来.m4a  16.77M
|   ├──20丨Megastore（二）：把Bigtable玩出花来.pdf  4.40M
|   ├──21丨Megastore（三）：让Paxos跨越“国界”.html  2.39M
|   ├──21丨Megastore（三）：让Paxos跨越“国界”.m4a  19.82M
|   ├──21丨Megastore（三）：让Paxos跨越“国界”.pdf  3.24M
|   ├──22丨Spanner（上）：“重写”Bigtable和Megastore.html  2.83M
|   ├──22丨Spanner（上）：“重写”Bigtable和Megastore.m4a  14.54M
|   ├──22丨Spanner（上）：“重写”Bigtable和Megastore.pdf  2.97M
|   ├──23丨Spanner（二）：时间的悖论.html  3.34M
|   ├──23丨Spanner（二）：时间的悖论.m4a  15.73M
|   ├──23丨Spanner（二）：时间的悖论.pdf  6.03M
|   ├──24丨Spanner（三）：严格串行化的分布式系统.html  3.42M
|   ├──24丨Spanner（三）：严格串行化的分布式系统.m4a  16.61M
|   └──24丨Spanner（三）：严格串行化的分布式系统.pdf  4.41M
├──05-复习篇(2讲)  
|   ├──复习课（八）丨ResilientDistributedDatasets.html  823.25kb
|   ├──复习课（八）丨ResilientDistributedDatasets.m4a  4.96M
|   ├──复习课（八）丨ResilientDistributedDatasets.pdf  855.65kb
|   ├──复习课（二）丨MapReduce.html  2.15M
|   ├──复习课（二）丨MapReduce.m4a  6.36M
|   ├──复习课（二）丨MapReduce.pdf  1.51M
|   ├──复习课（九）丨Megastore.html  1.33M
|   ├──复习课（九）丨Megastore.m4a  8.79M
|   ├──复习课（九）丨Megastore.pdf  1.06M
|   ├──复习课（六）丨Hive.html  2.06M
|   ├──复习课（六）丨Hive.m4a  5.57M
|   ├──复习课（六）丨Hive.pdf  1.75M
|   ├──复习课（七）丨Dremel.html  1.23M
|   ├──复习课（七）丨Dremel.m4a  4.67M
|   ├──复习课（七）丨Dremel.pdf  2.28M
|   ├──复习课（三）丨Bigtable.html  2.68M
|   ├──复习课（三）丨Bigtable.m4a  8.03M
|   ├──复习课（三）丨Bigtable.pdf  4.25M
|   ├──复习课（十）丨Spanner.html  2.85M
|   ├──复习课（十）丨Spanner.m4a  11.28M
|   ├──复习课（十）丨Spanner.pdf  3.37M
|   ├──复习课（四）丨Thrift.html  2.17M
|   ├──复习课（四）丨Thrift.m4a  6.40M
|   ├──复习课（四）丨Thrift.pdf  2.69M
|   ├──复习课（五）丨Chubby.html  2.23M
|   ├──复习课（五）丨Chubby.m4a  10.32M
|   ├──复习课（五）丨Chubby.pdf  2.20M
|   ├──复习课（一）丨TheGoogleFileSystem.html  2.15M
|   ├──复习课（一）丨TheGoogleFileSystem.m4a  8.80M
|   └──复习课（一）丨TheGoogleFileSystem.pdf  2.04M
├──06-实时处理篇：批处理只是流式处理的“特殊情况”(2讲)  
|   ├──25丨从S4到Storm（一）：当分布式遇上实时计算.html  2.48M
|   ├──25丨从S4到Storm（一）：当分布式遇上实时计算.m4a  12.74M
|   ├──25丨从S4到Storm（一）：当分布式遇上实时计算.pdf  2.72M
|   ├──26丨从S4到Storm（二）：位运算是个好东西.html  3.88M
|   ├──26丨从S4到Storm（二）：位运算是个好东西.m4a  14.89M
|   ├──26丨从S4到Storm（二）：位运算是个好东西.pdf  4.68M
|   ├──27丨Kafka（一）：消息队列的新标准.html  2.86M
|   ├──27丨Kafka（一）：消息队列的新标准.m4a  9.52M
|   ├──27丨Kafka（一）：消息队列的新标准.pdf  4.78M
|   ├──28丨Kafka（二）：从Lambda到Kappa，流批一体计算的起源.html  2.61M
|   ├──28丨Kafka（二）：从Lambda到Kappa，流批一体计算的起源.m4a  9.64M
|   ├──28丨Kafka（二）：从Lambda到Kappa，流批一体计算的起源.pdf  3.58M
|   ├──29丨Dataflow（一）：正确性、容错和时间窗口.html  2.33M
|   ├──29丨Dataflow（一）：正确性、容错和时间窗口.m4a  15.48M
|   ├──29丨Dataflow（一）：正确性、容错和时间窗口.pdf  4.06M
|   ├──30丨Dataflow（二）：MillWheel，一个早期实现.html  3.30M
|   ├──30丨Dataflow（二）：MillWheel，一个早期实现.m4a  14.50M
|   ├──30丨Dataflow（二）：MillWheel，一个早期实现.pdf  2.65M
|   ├──31丨Dataflow（三）：一个统一的编程模型.html  2.78M
|   ├──31丨Dataflow（三）：一个统一的编程模型.m4a  13.80M
|   └──31丨Dataflow（三）：一个统一的编程模型.pdf  3.87M
└──07-资源调度篇：Google藏了10年的杀手锏(1讲)  
|   ├──32丨Raft（一）：不会背叛的信使.html  2.34M
|   ├──32丨Raft（一）：不会背叛的信使.m4a  12.30M
|   ├──32丨Raft（一）：不会背叛的信使.pdf  3.63M
|   ├──33丨Raft（二）：服务器增减的“自举”实现.html  3.05M
|   ├──33丨Raft（二）：服务器增减的“自举”实现.m4a  9.69M
|   └──33丨Raft（二）：服务器增减的“自举”实现.pdf  2.49M
下面目录就不更新了