Skip to content

Commit 9dba21e

Browse files
committed
no message
1 parent 0774512 commit 9dba21e

2 files changed

Lines changed: 47 additions & 0 deletions

File tree

‎README.md‎

Lines changed: 4 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -14,6 +14,10 @@ Hi,欢迎来做客,即刻开始 CS 学习之旅.
1414

1515
  排序算法、动态规划、递归、回溯法、贪心算法等。
1616

17+
- [海量数据处理](notes/海量数据处理.md)
18+
19+
数据处理典型案例,欢迎提交相关 issue 或是 contribution
20+
1721

1822

1923
## 二、Java

‎notes/海量数据处理.md‎

Lines changed: 43 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,43 @@
1+
# 前言
2+
3+
这里主要针对安利进行分析讲解,欢迎大家在 issue 或是直接 contribution 更多相关的海量数据相关难题。这里我将持续性的更新一些面试中常见的海量数据案例。
4+
5+
6+
7+
海量数据问题处理方法
8+
9+
- Hash
10+
- Bit-Map
11+
- 布隆过滤器 (Bloom Filter)
12+
- 堆 (Heap)
13+
- 双层桶划分
14+
- 数据库索引
15+
- 倒排索引 (Inverted Index)
16+
- B+树
17+
- Trie树
18+
- MapReduce
19+
20+
21+
22+
# 海量数据案例
23+
24+
## #1 给定a、b两个文件,各存放50亿个url,每个url各占64字节,内存限制是4G,让你找出a、b文件共同的url?
25+
26+
**方案1**:可以估计每个文件安的大小为 5G×64 =320G,远远大于内存限制的 4G。所以不可能将其完全加载到内存中处理。考虑采取分而治之的方法。
27+
28+
遍历文件 a,对每个 url 求取 hash(url) ,然后根据所取得的值将 url 分别存储到 1000 个小文件(记为a0,a1,...,a999)中。这样每个小文件的大约为 300M。
29+
30+
遍历文件 b,采取和 a 相同的方式将 url 分别存储到 1000 小文件(记为 b0,b1,...,b999 )。这样处理后,所有可能相同的 url 都在对应的小文件(a0 vs b0,a1vs b1,...,a999 vs b999)中,不对应的小文件不可能有相同的 url。然后我们只要求出 1000 对小文件中相同的 url 即可。
31+
32+
求每对小文件中相同的 url 时,可以把其中一个小文件的 url 存储到 hash_set 中。然后遍历另一个小文件的每个 url,看其是否在刚才构建的 hash_set 中,如果是,那么就是共同的 url,存到文件里面就可以了。
33+
34+
35+
36+
**方案2**:如果允许有一定的错误率,可以使用 Bloom filter,4G 内存大概可以表示 340 亿 bit。将其中一个文件中的 url 使用 Bloom filter 映射为这 340 亿 bit,然后挨个读取另外一个文件的 url,检查是否与 Bloom filter,如果是,那么该 ur l应该是共同的 url(注意会有一定的错误率)。
37+
38+
39+
40+
参考资料:
41+
42+
- [搞定海量数据处理,六道海量数据处理面试题分析与十大方法总结](https://zhuanlan.zhihu.com/p/40430913)
43+
- [海量数据处理:十道面试题与十个海量数据处理方法总结 - chenhuan001 - 博客园](https://www.cnblogs.com/chenhuan001/p/5866916.html)

0 commit comments

Comments
 (0)