网站医疗服务器Mapreduce高防程序出错解决办法

使用微信扫描二维码分享朋友圈，成交更快更简单！

网站医疗服务器Mapreduce高防程序出错解决办法

网站医疗服务器Mapreduce高防程序出错解决办法

高防服务器租用 请联系：锐辉网络--小敏 ：.........................2853898501

【错误1】
描述 ：java.io.IOException: Type mismatch in value from map: expected org.apache.hadoop.io.IntWritable, recieved org.apache.hadoop.io.Text
分析：
为什么呢？对于大多数的mapreduce程序而言，都是基于模板来写的，很少有人从一个空白来写出mapreduce程序，没有这个必要。问题就出在你的这个模板上，你的模板上可能有这么一句: job.setCombinerClass(Reduce.class);
这样一来数据流就变了，变成了map(k1, v1, k2, v2) ——> combiner(k2,list(v2), k3, v3) ——> reduce(k2,list(v2), k3, v3)
仔细看一下，如果从combiner到reduce是有问题的，如果(k3, v3)与(k2, v2)不相同的话，就会报错了！！！
所以这就是错误发生的根源，不要盲目地用combiner！！！给自己提个醒。
解决办法：
注释掉job.setCombinerClass(Reduce.class);
或者看一下你map的输出和reduce的输入是不是对应的，然后看看你的map和reduce里的参数和下面的是不是设置的一样。
job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(IntWritable.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);

【错误2】
Configuration参数无法设置
一开始代码是这样写的
Configuration configuration = getConf();
Job job = new Job(configuration, "OverallSort");
job.setJarByClass(OverallSort.class);
FileInputFormat.setInputPaths(job, new Path("/csdn.txt"));
FileOutputFormat.setOutputPath(job, new Path("/output"));
configuration.set("mapreduce.input.keyvaluelinerecordreader.key.value.separator", "#");
job.setInputFormatClass(KeyValueTextInputFormat.class);
后来发现设置的分隔符“#”不起作用，思考了半天，发现应该把 configuration.set("mapreduce.input.keyvaluelinerecordreader.key.value.separator", "#");
上面的一句话放在初始化job之前。