MapReduce实现倒排索引（类似协同过滤）

时间：2022-08-16 18:20:48

一、问题背景

　　倒排索引其实就是出现次数越多，那么权重越大，不过我国有凤巢....zf为啥不管，总局回应推广是不是广告有争议...

　　eclipse里ctrl+t找接口或者抽象类的实现类，看看都有啥方法，有时候hadoop的抽象类返回的接口没有需要的方法，那么我们返回他的实现类。

　　吧需要的文件放入hdfs下的目录下，只要不是以下划线开头的均算。

二、理论准备

MapReduce实现倒排索引（类似协同过滤）

　　搜索引擎查询的时候就是查询这个单词文档矩阵，旺旺采用倒排索引存储，后缀树也可以。

　　不管理论直接看例子，这是原始的文档

MapReduce实现倒排索引（类似协同过滤）

　　下面是简单的索引，只是表征是否在文档中出现过。

MapReduce实现倒排索引（类似协同过滤）

　　下面就是文档及出现次数。

MapReduce实现倒排索引（类似协同过滤）

　　擦，咋有点想协同过滤。

三、思路分析

　　其实是一个全文检索的数据结构。理论上关键字出现次数越多，那么文章就越靠前。

　　就是wc的加强版本。wc是统计单词在文章里出现的次数，倒排是统计关键字在各个文章出现的次数。

　　有时候不能一下子写出来，可能需要多次mr，那么我们首先确定最终的结果形式，然后向上反推。

　　如果多个mr，考虑使用combiner，不过要考虑combiner是不是可插拔的，也就是combiner和业务逻辑是否和reducer一样。

　　怎么知道单词出现在那个文章里？从context对象里获取。既然能忘context写东西，那么也能从其中获取信息。

　　最终结果是

hello	"a.txt->5 b.txt->3"

tom		"a.txt->2 b.txt->1"

kitty	"a.txt->1"

　　那么reduce的输出

context.write("hello","a.txt->5 b.txt->3");

　　那么combiner阶段是

<"hello",{"a.txt->5","b.txt->3"}>

　　那么map的输出

context.write("hello","a.txt->5");

context.write("hello","b.txt->3");

　　不过考虑到wc，map的输出应该是，路径放在value不好处理，还要廉价呢。

context.write("hello->a.txt",1);

context.write("hello->a.txt",1);

context.write("hello->a.txt",1);

context.write("hello->a.txt",1);

context.write("hello->a.txt",1);

context.write("hello->b.txt",1);

context.write("hello->b.txt",1);

context.write("hello->b.txt",1);

　　那么combiner阶段根据就输出

<"hello->a.txt",1>

<"hello->a.txt",1>

<"hello->a.txt",1>

<"hello->a.txt",1>

<"hello->a.txt",1>

<"hello->b.txt",1>

<"hello->b.txt",1>

<"hello->b.txt",1>

context.write("hello","a.txt->5");

context.write("hello","b.txt->3");

　次是不同文件的相同key并没有合并，reducer合并输出皆可。

四、代码实现

4.1 Mapper

public class IIMapper1 extends Mapper<LongWritable, Text, Text, Text> {

	private Text k = new Text();

	//下面其实是int，不过也可以在接收端Integer.parseInt转了就好

	private Text v = new Text();

	public void map(LongWritable key, Text value, Context context)

			throws IOException, InterruptedException {

		String line = value.toString();

		String[] words = line.split(" ");

		//从context对象里找到单词属于那个文章

		//context.getInputSplit();找到切片 按ctrl找 发现返回时InputSplit

		//不过是个抽象类 ctrl + t找他的实现类

		//能把数据写入context，繁殖也能从context拿到很多信息

		//从下面inputSplit调用get的时候发现没有合适的方法，那么我们找他的实现类，调用实现类的方法

		//InputSplit inputSplit = context.getInputSplit();

		//inputSplit.get

		//他的子类很多    我们处理文件就用File开头的  然后有个getPath

		FileSplit inputSplit = (FileSplit)context.getInputSplit();

		//文件名是hdfs://hostname：port/a/1.txt

		//我们戒掉hdfs://hostname：port  不能戒掉a  应为这是文件夹否则不知道1.txt来自哪 其他文件家下可能也有同名文件

		//也可以不接去

		String path = inputSplit.getPath().toString();

		for(String w:words) {

			k.set(w+"->"+path);

			v.set("1");

			context.write(k, v);

		}

	}

}

　　

4.2 Combiner

String[] wordAndPath = key.toString().split("->");

		String word = wordAndPath[0];

		String path = wordAndPath[1];

		// process values

		int sum = 0;

		for (Text val : value) {

			sum += Integer.parseInt(val.toString());

		}

		k.set(word);

		v.set(path+"->"+sum);

		context.write(k, v);

　　

4.3 Reducer

//不涉及多线程 用StringBuilde即可

		StringBuilder sb = new StringBuilder();

		// process values

		for (Text val : value) {

			sb.append(val.toString()).append("\t");

		}

		context.write(key, new Text(sb.toString()));

　　

四、实验分析

MapReduce实现倒排索引（类似协同过滤）

相关文章