一、下载并配置Cygwin
1、新建系统变量【CYGWIN】,变量值为【ntsc tty】
2、编辑系统变量【Path】,加入【c:\cygwin\bin】
二、安装java
配置 JAVA_HOME;
三、配置eclipse
1、把hadoop安装包下的 contrib/ 目录下的插件 hadoop-*-eclipse-plugin.jar 放到eclipse目录的 plugins 目录下;
2、其他配置过程参考网络其他文档;
3、进行运行时配置,选择Run As—>Open Debug Dialog选项,在Arguments选项卡中设置:【D:\workspace\hadoop-test\in D:\workspace\hadoop-test\out】,在其中填写两个目录,分别为数据输入目录和输出目录,中间用空格分隔;
四、可能遇到的问题
1、如果遇到这个错误:org.apache.hadoop.security.AccessControlException: Permission denied: user=administrator, access=EXECUTE, inode="job_201111031322_0003":heipark:supergroup:rwx-
问题原因:本地用户administrator(本机windows用户)想要远程操作hadoop系统,没有权限引起的。
解决办法:
a、如果是测试环境,可以取消hadoop hdfs的用户权限检查。打开conf/hdfs-site.xml,找到dfs.permissions属性修改为false(默认为true)OK了。
b、修改hadoop location参数,在advanced parameter选项卡中,找到hadoop.job.ugi项,将此项改为启动hadoop的用户名即可。
注意第一次设置的时候可能没有hadoop.job.ugi参数,报错后在去看就有了。
2、运行例子时出现:IOException: Cannot run program "chmod": CreateProcess error=2,
问题原因:没有安装cygwin 或 没有配置环境变量;
解决办法:安装并配置环境变量 bin到 path下 重启 eclipse 问题解决;
3、如果出现下面问题
11/11/03 12:21:31 WARN mapred.LocalJobRunner: job_local_0001
java.lang.OutOfMemoryError: Java heap space
at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.<init>(MapTask.java:781)
at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:350)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:307)
at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:177)
11/11/03 12:21:31 INFO mapred.JobClient: map 0% reduce 0%
11/11/03 12:21:31 INFO mapred.JobClient: Jobcomplete: job_local_0001
11/11/03 12:21:31 INFO mapred.JobClient: Counters: 0
Exception in thread "main" java.io.IOException: Job failed!
at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:1252)
at mapred.WordCount.main(WordCount.java:110)
问题原因:客户端程序运行时java虚拟机内存分配不够
解决办法:修改run configuration,选择Arguments选项卡,在VM arguments栏中加入-Xmx1024m,保存即可解决问题。
分享到:
相关推荐
hadoop环境搭建和eclipse开发
Hadoop环境搭建Hadoop环境搭建 Hadoop环境搭建
基于Eclipse的Hadoop应用开发环境配置
成功在windows的eclipse连接hadoop 具体步骤如下: 1.使用对应版本的Hadoop jar包 2.错误:winutils.exe not found 解压hadoop-common-2.2.0-bin-master.zip和hadoop_dll2.6.0.7z 。因为是Hadoop2.6环境,所以后者...
eclipse hadoop例子源代码 eclipse hadoop例子源代码
Hadoop环境搭建.pdf Hadoop环境搭建.pdf Hadoop环境搭建.pdf
hadoop的环境搭建过程.方便第一次使用hadoop的同学.快速搭建环境
hadoop的环境搭建手册 分布式计算开源框架Hadoop介绍
在Windows上使用Cygwin作为类Unix支撑环境来安装Hadoop, 网上介绍的还是比较多的。...其实,Hadoop环境搭建的主要内容是Cygwin的安装,估计要占总时间的2/3, 其它工作我会手把手的教你,come on,follow me!
最详细的Hadoop环境搭建
适合零基础的初学者,在window系统下搭建hadoop环境,
此文档在hadoop集群搭建完毕之后,在集群之外搭建一个hadoop集群的开发环境,用于编写hadoop实际处理程序,还包括了如何提交任务等。整体非常详细,如需要其他hadoop集群搭建资源可以联系我,免费给q:1487954071
Hadoop环境搭建手册(包含所有基本信息,本人亲测)
适用用hadoop2 ,eclipse 集成插件。!可用在eclipse 开发hadoop程序
hadoop环境搭建资源 hadoop环境搭建资源 hadoop环境搭建资源 hadoop环境搭建资源
涉及到了Hadoop2.0、Hbase、Sqoop、Flume、Hive、Zookeeper的具体环境搭建
hadoop2.9.2 zookeeper 3.4.14 搭建环境,亲测可用。。
详细的hadoop2 伪分布式环境搭建以及eclipse部署。demo示例代码测试运行。文中有插件包。资源包等参考链接参考下载。
hadoop 全套环境搭建指南,三台虚拟机环境准备 linux基础及shell增强 大数据集群环境准备 zookeeper介绍及集群操作 网络编程
windows下搭建hadoop开发环境(Eclipse)