文件名称：c语言如何对海量数据进行处理
文件大小：152KB
文件格式：DOC
更新时间：2017-09-14 17:07:00
C语言 海量数据 数据处理 大数据
1. 给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？ 2. 有10个文件，每个文件1G，每个文件的每一行存放的都是用户的query，每个文件的query都可能重复。要求你按照query的频度排序。 3. 有一个1G大小的一个文件，里面每一行是一个词，词的大小不超过16字节，内存限制大小是1M。返回频数最高的100个词。 4. 海量日志数据，提取出某日访问百度次数最多的那个IP。（利用hash分而治之，然后上归并，堆） 5. 在2.5亿个整数中找出不重复的整数，内存不足以容纳这2.5亿个整数。