注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

和申的个人主页

专注于java开发,1985wanggang

 
 
 

日志

 
 

windows安装hadoop  

2010-11-16 19:43:36|  分类: java分布 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |
文章分类:

hadoop是什么就不多说了,看这里

hadoop推荐部署环境是在linux,但是我们想要在windows体验一下还是可以的,follow me

 

我的环境:windows xp,hadoop安装包(0.20.1)cygwin

 

 

打开cygwin

 

Java代码
  1. explorer .  
explorer .

 

把hadoop的包放到这个目录下



然后输入命令

 

Java代码
  1. tar zxf hadoop-0.20.1.tar.gz  
  tar zxf hadoop-0.20.1.tar.gz

 

解压完成后进入hadoop-0.20.1的配置目录,打开core-site.xml,加入以下内容。这里是定义namenode运行地址和端口

 

Xml代码
  1. <property>  
  2.     <name>fs.default.name</name>  
  3.     <value>hdfs://localhost:9000</value>  
  4.   </property>  
<property>     <name>fs.default.name</name>     <value>hdfs://localhost:9000</value>   </property>

 

打开hdfs-site.xml,加入以下内容

Java代码
  1. <property>  
  2.     <name>dfs.replication</name>  
  3.     <value>1</value>  
  4.   </property>  
<property>     <name>dfs.replication</name>     <value>1</value>   </property>

这里把复制因子设置为1是因为我们在windows上做伪分布,只能启动一个datanode

 

接下来可以定义namenode数据目录,和datanode数据目录。当然这个不是必须的,默认是在/tmp目录下面

 

Xml代码
  1. <property>  
  2.   <name>dfs.name.dir</name>  
  3.   <value>c:/filesystem/name</value>  
  4. </property>  
  5.   
  6. <property>  
  7.   <name>dfs.data.dir</name>  
  8.   <value>c:/filesystem/data</value>  
  9. </property>  
<property>   <name>dfs.name.dir</name>   <value>c:/filesystem/name</value> </property>  <property>   <name>dfs.data.dir</name>   <value>c:/filesystem/data</value> </property> 

 最后修改hadoop-env.sh,把下面注释的这行打开,并设置为你的jdk路径。如果你的java在Program Files下,则整个jdk路径加引号

 

Java代码
  1. export JAVA_HOME=你的jdk路径  
export JAVA_HOME=你的jdk路径

 


ok,在cygwin下进入bin目录,首先需要格式化namenode

 

Java代码
  1. ./hadoop namenode -format  
./hadoop namenode -format 

 

然后启动namenode

 

Java代码
  1. ./hadoop namenode  
./hadoop namenode

 

再打开一个datanode,同样在bin目录下

 

Java代码
  1. ./hadoop datanode  
./hadoop datanode

 

 

不出意外,你会看到

 

namenode

datanode

我们可以试一下上传文件

 

Java代码
  1. ./hadoop fs -put d:/download/vmware6.03.rar /tt/vm.rar  
./hadoop fs -put d:/download/vmware6.03.rar /tt/vm.rar

 

list一下

 

Java代码
  1. ./hadoop fs -lsr /tt  
./hadoop fs -lsr /tt

 

结果:

 

Java代码
  1. -rw-r--r--   1 Administrator supergroup   20793970 2010-01-18 15:52 /tt/vm.rar  
-rw-r--r--   1 Administrator supergroup   20793970 2010-01-18 15:52 /tt/vm.rar
 

有兴趣的筒子可以去c:/filesystem/data/current看看哈:)

 

 过几天再记录一下hadoop mapreduce


摘自:http://simbas.javaeye.com/blog/573498

统计信息唧唧歪歪唧唧网ggyygg.net
  评论这张
 
阅读(3844)| 评论(2)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2016