Skip to content

Commit 38bcbfa

Browse files
committed
no message
1 parent bf5b15c commit 38bcbfa

1 file changed

Lines changed: 32 additions & 8 deletions

File tree

‎notes/海量数据处理.md‎

Lines changed: 32 additions & 8 deletions
Original file line numberDiff line numberDiff line change
@@ -21,23 +21,47 @@
2121

2222
# 海量数据案例
2323

24-
## #1 给定a、b两个文件,各存放50亿个url,每个url各占64字节,内存限制是4G,让你找出a、b文件共同的url?
24+
## #1 两个大文件中找出共同记录
2525

26-
**方案1**:可以估计每个文件安的大小为 5G×64 =320G,远远大于内存限制的 4G。所以不可能将其完全加载到内存中处理。考虑采取分而治之的方法。
26+
### 题目描述
2727

28-
遍历文件 a,对每个 url 求取 hash(url) ,然后根据所取得的值将 url 分别存储到 1000 个小文件(记为a0,a1,...,a999)中。这样每个小文件的大约为 300M。
28+
给定 a、b 两个文件,各存放 50 亿个 url,每个 url 各占 64 字节,内存限制是 4G,让你找出 a、b 文件共同的 url?
2929

30-
遍历文件 b,采取和 a 相同的方式将 url 分别存储到 1000 小文件(记为 b0,b1,...,b999 )。这样处理后,所有可能相同的 url 都在对应的小文件(a0 vs b0,a1vs b1,...,a999 vs b999)中,不对应的小文件不可能有相同的 url。然后我们只要求出 1000 对小文件中相同的 url 即可。
30+
### 解题思路
3131

32-
求每对小文件中相同的 url 时,可以把其中一个小文件的 url 存储到 hash_set 中。然后遍历另一个小文件的每个 url,看其是否在刚才构建的 hash_set 中,如果是,那么就是共同的 url,存到文件里面就可以了。
32+
**方案 1**
3333

34+
首先我们最常想到的方法是读取文件 a,建立哈希表方便后面查找,然后再读取文件 b,遍历文件 b 中每个 url,对于每个遍历,我们都执行查找 hash 表的操作,若 hash 表中搜索到了,则说明两文件共有,存入一个集合。
3435

36+
可以估计每个文件安的大小为 5G×64 =320G,远远大于内存限制的 4G。所以不可能将其完全加载到内存中处理。
3537

36-
**方案2**:如果允许有一定的错误率,可以使用 Bloom filter,4G 内存大概可以表示 340 亿 bit。将其中一个文件中的 url 使用 Bloom filter 映射为这 340 亿 bit,然后挨个读取另外一个文件的 url,检查是否与 Bloom filter,如果是,那么该 ur l应该是共同的 url(注意会有一定的错误率)。
38+
针对上述问题,我们分治算法的思想。
3739

40+
1. 遍历文件 a,对每个 url 求取 `hash(url)%1000`,然后根据所取得的值将 url 分别存储到 1000 个小文件(记为 a0,a1,...,a999 每个小文件约 300M),为什么是 1000?主要根据内存大小和要分治的文件大小来计算,我们就大致可以把 320G 大小分为 1000 份,每份大约 300M(当然,到底能不能分布尽量均匀,得看 hash 函数的设计)
3841

42+
2. 遍历文件 b,采取和 a 相同的方式将 url 分别存储到 1000 个小文件(记为 b0,b1,...,b999 )
3943

40-
参考资料:
44+
为什么要这样做?文件 a 的 hash 映射和文件 b 的 hash 映射函数要保持一致,这样的话相同的 url 就会保存在对应的小文件中,比如,如果 a 中有一个 url 记录 data1 被 hash 到了 a99 文件中,那么如果 b 中也有相同 url,则一定被 hash 到了 b99 中。
45+
46+
47+
  所以现在问题转换成了:找出 1000 对小文件中每一对相同的 url(**不对应的小文件不可能有相同的 url**)
48+
49+
3. 求每对小文件中相同的 url 时,可以把其中一个小文件的 url 存储到 hash_set 中。然后遍历另一个小文件的每个 url,看其是否在刚才构建的 hash_set 中,如果是,那么就是共同的 url,存到文件里面就可以了。
50+
51+
52+
53+
**方案2**
54+
55+
如果允许有一定的错误率,可以使用 Bloom filter,4G 内存大概可以表示 340 亿 bit。将其中一个文件中的 url 使用 Bloom filter 映射为这 340 亿 bit,然后挨个读取另外一个文件的 url,检查是否与 Bloom filter,如果是,那么该 ur l应该是共同的 url(注意会有一定的错误率)。
56+
57+
58+
59+
60+
61+
# 参考资料
4162

4263
- [搞定海量数据处理,六道海量数据处理面试题分析与十大方法总结](https://zhuanlan.zhihu.com/p/40430913)
43-
- [海量数据处理:十道面试题与十个海量数据处理方法总结 - chenhuan001 - 博客园](https://www.cnblogs.com/chenhuan001/p/5866916.html)
64+
- [海量数据处理:十道面试题与十个海量数据处理方法总结 - chenhuan001 - 博客园](https://www.cnblogs.com/chenhuan001/p/5866916.html)
65+
- [大数据和空间限制问题专题(一) - CSDN博客](https://blog.csdn.net/qq_21688757/article/details/53993096)
66+
67+
- [Interview-Book/2018-03-31-数据分析师常见的7道面试题.md](https://github.com/ZuoAndroid/Interview-Book/blob/df3b37cf80de59015c6c3651b1e588d9cbeac889/%E9%9D%A2%E8%AF%95%E9%A2%98/2018-03-31-%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90%E5%B8%88%E5%B8%B8%E8%A7%81%E7%9A%847%E9%81%93%E9%9D%A2%E8%AF%95%E9%A2%98.md)

0 commit comments

Comments
 (0)