MapReduce实现倒排索引(类似协同过滤)

时间:2022-08-16 18:20:48

一、问题背景

  倒排索引其实就是出现次数越多,那么权重越大,不过我国有凤巢....zf为啥不管,总局回应推广是不是广告有争议...

  eclipse里ctrl+t找接口或者抽象类的实现类,看看都有啥方法,有时候hadoop的抽象类返回的接口没有需要的方法,那么我们返回他的实现类。

  吧需要的文件放入hdfs下的目录下,只要不是以下划线开头的均算。

二、理论准备

MapReduce实现倒排索引(类似协同过滤)

  搜索引擎查询的时候就是查询这个单词文档矩阵,旺旺采用倒排索引存储,后缀树也可以。

  不管理论直接看例子,这是原始的文档

MapReduce实现倒排索引(类似协同过滤)

  下面是简单的索引,只是表征是否在文档中出现过。

MapReduce实现倒排索引(类似协同过滤)

  下面就是文档及出现次数。

MapReduce实现倒排索引(类似协同过滤)

  擦,咋有点想协同过滤。

三、思路分析

  其实是一个全文检索的数据结构。理论上关键字出现次数越多,那么文章就越靠前。

  就是wc的加强版本。wc是统计单词在文章里出现的次数,倒排是统计关键字在各个文章出现的次数。

  有时候不能一下子写出来,可能需要多次mr,那么我们首先确定最终的结果形式,然后向上反推。

  如果多个mr,考虑使用combiner,不过要考虑combiner是不是可插拔的,也就是combiner和业务逻辑是否和reducer一样。

  怎么知道单词出现在那个文章里?从context对象里获取。既然能忘context写东西,那么也能从其中获取信息。

  最终结果是

hello	"a.txt->5 b.txt->3"
tom "a.txt->2 b.txt->1"
kitty "a.txt->1"

  那么reduce的输出

context.write("hello","a.txt->5 b.txt->3");

  那么combiner阶段是

<"hello",{"a.txt->5","b.txt->3"}>

  那么map的输出

context.write("hello","a.txt->5");
context.write("hello","b.txt->3");

  不过考虑到wc,map的输出应该是,路径放在value不好处理,还要廉价呢。

context.write("hello->a.txt",1);
context.write("hello->a.txt",1);
context.write("hello->a.txt",1);
context.write("hello->a.txt",1);
context.write("hello->a.txt",1); context.write("hello->b.txt",1);
context.write("hello->b.txt",1);
context.write("hello->b.txt",1);

  那么combiner阶段根据就输出

<"hello->a.txt",1>
<"hello->a.txt",1>
<"hello->a.txt",1>
<"hello->a.txt",1>
<"hello->a.txt",1> <"hello->b.txt",1>
<"hello->b.txt",1>
<"hello->b.txt",1> context.write("hello","a.txt->5");
context.write("hello","b.txt->3");

 次是不同文件的相同key并没有合并,reducer合并输出皆可。

四、代码实现

4.1 Mapper

public class IIMapper1 extends Mapper<LongWritable, Text, Text, Text> {

	private Text k = new Text();
//下面其实是int,不过也可以在接收端Integer.parseInt转了就好
private Text v = new Text();
public void map(LongWritable key, Text value, Context context)
throws IOException, InterruptedException {
String line = value.toString();
String[] words = line.split(" ");
//从context对象里找到单词属于那个文章
//context.getInputSplit();找到切片 按ctrl找 发现返回时InputSplit
//不过是个抽象类 ctrl + t找他的实现类
//能把数据写入context,繁殖也能从context拿到很多信息
//从下面inputSplit调用get的时候发现没有合适的方法,那么我们找他的实现类,调用实现类的方法
//InputSplit inputSplit = context.getInputSplit();
//inputSplit.get //他的子类很多 我们处理文件就用File开头的 然后有个getPath
FileSplit inputSplit = (FileSplit)context.getInputSplit();
//文件名是hdfs://hostname:port/a/1.txt
//我们戒掉hdfs://hostname:port 不能戒掉a 应为这是文件夹否则不知道1.txt来自哪 其他文件家下可能也有同名文件
//也可以不接去
String path = inputSplit.getPath().toString();
for(String w:words) {
k.set(w+"->"+path);
v.set("1");
context.write(k, v);
}
} }

  

4.2 Combiner

String[] wordAndPath = key.toString().split("->");
String word = wordAndPath[0];
String path = wordAndPath[1];
// process values
int sum = 0;
for (Text val : value) {
sum += Integer.parseInt(val.toString());
}
k.set(word);
v.set(path+"->"+sum);
context.write(k, v);

  

4.3 Reducer

//不涉及多线程 用StringBuilde即可
StringBuilder sb = new StringBuilder();
// process values
for (Text val : value) {
sb.append(val.toString()).append("\t");
}
context.write(key, new Text(sb.toString()));

  

四、实验分析

MapReduce实现倒排索引(类似协同过滤)