注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

和申的个人主页

专注于java开发,1985wanggang

 
 
 

日志

 
 

引用 Hadoop Windows 搭建开发环境[转]  

2010-10-23 14:21:30|  分类: java分布 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

 

引用

来生缘Hadoop Windows 搭建开发环境[转]
在 Windows 平台下部署 Hadoop 开发环境

魏仁言 2010.6.8

Hadoop 是一个开源的可运行于大规模集群上的分布式并行编程框架,由于分布式存储对于分布式编程来说是必不可少的,这个框架中还包含了一个分布式文件系统 HDFS( Hadoop Distributed File System ) 。也许到目前为止,Hadoop 还不是那么广为人知,其最新的版本号也仅仅是 0.20 ,距离 1.0 似乎都还有很长的一段距离,但提及 Hadoop 一脉相承的另外两个开源项目 Nutch 和 Lucene ( 三者的创始人都是 Doug Cutting ), 那绝对是大名鼎鼎。Lucene 是一个用 Java 开发的开源高性能全文检索工具包,它不是一个完整的应用程序,而是一套简单易用的 API 。在全世界范围内,已有无数的软件系统,Web 网站基于 Lucene 实现了全文检索功能,后来 Doug Cutting 又开创了第一个开源的 Web 搜索引擎它在 Lucene 的基础上增加了网络爬虫和一些和 Web 相关的功能,一些解析各类文档格式的插件等,此外,Nutch 中还包含了一个分布式文件系统用于存储数据。从 Nutch 0.8.0 版本之后,Doug Cutting 把 Nutch 中的分布式文件系统以及实现 MapReduce 算法的代码独立出来形成了一个新的开源项 Hadoop 。Nutch 也演化为基于 Lucene 全文检索以及 Hadoop 分布式计算平台的一个开源搜索引擎。

基于 Hadoop, 你可以轻松地编写可处理海量数据的分布式并行程序,并将其运行于由成百上千个结点组成的大规模计算机集群上。从目前的情况来看,Hadoop 注定会有一个辉煌的未来:" 云计算" 是目前灸手可热的技术名词,全球各大 IT 公司都在投资和推广这种新一代的计算模式,而 Hadoop 又被其中几家主要的公司用作其" 云计算" 环境中的重要基础软件,如: 雅虎正在借助 Hadoop 开源平台的力量对抗 Google, 除了资助 Hadoop 开发团队外,还在开发基于 Hadoop 的开源项目 Pig, 这是一个专注于海量数据集分析的分布式计算程序。Amazon 公司基于 Hadoop 推出了 Amazon S3 ( Amazon Simple Storage Service ) ,提供可靠,快速,可扩展的网络存储服务,以及一个商用的云计算平台 Amazon EC2 ( Amazon Elastic Compute Cloud ) 。在 IBM 公司的云计算项目--" 蓝云计划" 中,Hadoop 也是其中重要的基础软件。Google 正在跟IBM 合作,共同推广基于 Hadoop 的云计算。

主要是在 Linux 平台下运行的,如果想在 Windows 平台下运行,你需要安装 Cygwin 才能运行, Hadoop 脚本。

下载 Cygwin 安装包

在 Windows 平台下部署 Hadoop 开发环境 - savechina的专栏 - CSDN博客 - 来生缘 - 学无止境

安装时一定要确认选择“ openssh ”安装包。如下图:

在 Windows 平台下部署 Hadoop 开发环境 - savechina的专栏 - CSDN博客 - 来生缘 - 学无止境

Hadoop 分布式运行需要 SSH 。所以这一部分介绍在 Cygwin 下配置 SSH 守护进程。

打开 Cygwin 命令环境

      
        
       

·   When asked if privilege separation should be used, answer .

记着一定要答no, 否则用Hadoop-Ecliple Plugin 插件进行开发时,会提示你没有权限操作文件,不能写等错误。(我因为这个问题头痛了好长时间,最后才找到是这里出现问题的。)

·   When asked if sshd should be installed as a service, answer

·   When asked about the value of CYGWIN environment variable enter.

配置完后,启动 SSHD 守护进程

运行: n et start sshd 或者通过 Windows 服务,启动 CYGWINSSHD 服务 .

想要停止服务运行: n et stop sshd 就可以了

     
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
测试

最后运行以下命令测试

ssh localhost

如果没有问题会提示以下内容: The authenticity of host 'localhost (127.0.0.1)' can't be established. RSA key fingerprint is 08:03:20:43:48:39:29:66:6e:c5:61:ba:77:b2:2f:55. Are you sure you want to continue connecting (yes/no)? Warning: Permanently added 'localhost' (RSA) to the list of known hosts. rywei@localhost's password:

会提示输入你机子的登录密码,输入无误后,会出现文本图形,类似于欢迎的提示:

The Hippo says: Welcome to

如果你不想每次都要输入密码,可以执行以下命令即可

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

a. 从Hadoop 网站下载最新的安装包( 当前版本

解压hadoop-0.20.2 安装包到你的主目录(/home/username/)

   修改conf/hadoop-env.sh 文件,将export JAVA_HOME 的值修改为你机上的jdk 安装目录,比如/cygdrive/d/tools/jdk1.6.0_03 ,/cygdrive 是Cygwin 安装成功后系统的根目录 如果你的JDK 安装在“C:\Program Files\Java\jdk1.6.0_20

如:export JAVA_HOME='C:\Program Files\Java\jdk1.6.0_20'

c. 在Hadoop 主目录内创建logs 目录,用以存放Hadoop 日志信息

Hadoop 可以用以下三种支持的模式中的一种启动 Hadoop 集群:

默认情况下, Hadoop 被配置成以非分布式模式运行的一个独立 Java 进程。这对调试非常有帮助。

下面的实例将已解压的 conf 目录拷贝作为输入,查找并显示匹配给定正则表达式的条目。输出写入到指定的 output 目录。
$ mkdir input
$ cp conf/*.xml input
$ bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+'
$ cat output/*

Hadoop 可以在单节点上以所谓的伪分布式模式运行,此时每一个 Hadoop 守护进程都作为一个独立的 Java 进程运行。

使用如下配置 :
conf/core-site.xml :

    <name>fs.default.name</name>

    <value>hdfs://localhost:9000</value>

    <name>dfs.replication</name>

    <value>1</value>

    <name>mapred.job.tracker</name>

    <value>localhost:9001</value>

在 Cygwin 下 必须设置中间的暂存目录,否则会出错的

  <name>mapred.child.tmp</name>

  <value>/home/hadoop-0.20.1/temp</value>

注:我就是忘记设置这个参数,代码总是不能成功运行, 产生如下错误:

10/05/04 09:15:50 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.

10/05/04 09:15:50 INFO mapred.FileInputFormat: Total input paths to process : 4

10/05/04 09:15:51 INFO mapred.JobClient: Running job: job_201005040912_0002

10/05/04 09:15:52 INFO mapred.JobClient:  map 0% reduce 0%

10/05/04 09:15:58 INFO mapred.JobClient: Task Id : attempt_201005040912_0002_m_000006_0, Status : FAILED

java.io.FileNotFoundException: File C:/tmp/hadoop-SYSTEM/mapred/local/taskTracker/jobcache/job_201005040912_0002/attempt_201005040912_0002_m_000006_0/work/tmp does not exist.

        at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:420)

        at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:244)

        at org.apache.hadoop.mapred.TaskRunner.setupWorkDir(TaskRunner.java:520)

        at org.apache.hadoop.mapred.Child.main(Child.java:143)

10/05/04 09:16:03 INFO mapred.JobClient: Task Id : attempt_201005040912_0002_m_000006_1, Status : FAILED

java.io.FileNotFoundException: File C:/tmp/hadoop-SYSTEM/mapred/local/taskTracker/jobcache/job_201005040912_0002/attempt_201005040912_0002_m_000006_1/work/tmp does not exist.

        at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:420)

        at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:244)

        at org.apache.hadoop.mapred.TaskRunner.setupWorkDir(TaskRunner.java:520)

        at org.apache.hadoop.mapred.Child.main(Child.java:143)

格式化一个新的分布式文件系统:
$ bin/hadoop namenode -format

启动 Hadoop 守护进程:
$ bin/start-all.sh

Hadoop 守护进程的日志写入到 ${HADOOP_LOG_DIR} 目录 ( 默认是 ${HADOOP_HOME}/logs ).

浏览 NameNode 和 JobTracker 的网络接口,它们的地址默认为:

将输入文件拷贝到分布式文件系统:
$ bin/hadoop fs -put conf input

运行发行版提供的示例程序:
$ bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+'

将输出文件从分布式文件系统拷贝到本地文件系统查看:
$ bin/hadoop fs -get output output
$ cat output/*

在分布式文件系统上查看输出文件:
$ bin/hadoop fs -cat output/*

完成全部操作后,停止守护进程:
$ bin/stop-all.sh

在Hadoop 根目录里,contrib\eclipse-plugin 文件夹下有,Hadoop 在Eclipse 的插件hadoop-0.20.2-eclipse-plugin.jar 。将其拷贝到Eclipse 的plugins 目录下。

启动Eclipse 后,你将看到如下界面:

在 Windows 平台下部署 Hadoop 开发环境 - savechina的专栏 - CSDN博客 - 来生缘 - 学无止境

点击 Eclipse 主菜单上 Windows->Preferences, 然后在左侧选择 Hadoop Home Directory, 设定你的 Hadoop 主目录, 如图一所示:

在 Windows 平台下部署 Hadoop 开发环境 - savechina的专栏 - CSDN博客 - 来生缘 - 学无止境

点击 Eclipse 主菜单上 File->New->Project, 在弹出的对话框中选择 MapReduce Project, 输入 project name 如 wordcount,  然后点击 Finish 即可。, 如图所示:

在 Windows 平台下部署 Hadoop 开发环境 - savechina的专栏 - CSDN博客 - 来生缘 - 学无止境

此后,你就可以象一个普通的 Eclipse Java project 那样,添加入 Java 类,比如你可以定义一个 WordCount 类。最简单的方法,就是将在Hadoop 主目录的src\example\ 下的WordCount 拷贝过来。

如图三所示,设定程序的运行参数: 输入目录和输出目录之后,你就可以在 Eclipse 中运行 wordcount 程序了,当然,你也可以设定断点,调试程序。

在 Windows 平台下部署 Hadoop 开发环境 - savechina的专栏 - CSDN博客 - 来生缘 - 学无止境

注:/user/rywei/test 和/user/rywei/test1 为HDFS 文件系统的路径。/user/rywei/tes 为输入目录, /user/rywei/test1 为执行输出目录。

打开 Map/Reduce perspective, 在菜单内选中 选择 "Other" 菜单, , 从 perspectives 列表选中 " Map/Reduce " .

DFS Locations 内可以查看 HDFS 文件系统内的文件,可以进行新增,删除等操作。

在 Windows 平台下部署 Hadoop 开发环境 - savechina的专栏 - CSDN博客 - 来生缘 - 学无止境

Location Name -- localhost Map/Reduce Master Host -- localhost DFS Master

注意:一定要设置Mapred.Child.Tmp 目录。例如:

Mapred.Child.Tmp=${HADOOPHOME}/temp

在 Windows 平台下部署 Hadoop 开发环境 - savechina的专栏 - CSDN博客 - 来生缘 - 学无止境

在 Windows 平台下部署 Hadoop 开发环境 - savechina的专栏 - CSDN博客 - 来生缘 - 学无止境

一切都设置完了,可以点击运行. 运行结果如下:

在 Windows 平台下部署 Hadoop 开发环境 - savechina的专栏 - CSDN博客 - 来生缘 - 学无止境


引文来源  在 Windows 平台下部署 Hadoop 开发环境 - savechina的专栏 - CSDN博客

org.quartz.impl.jdbcjobstore.LockException: Failure obtaining db row lock: - 和申 - 和申的个人主页

  评论这张
 
阅读(1129)| 评论(0)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2016