粗略整理的一个步骤。
1. 下载 Apache Hadoop 源码包,解压(放在不需要root权限的路径下,避免因为目录权限不够导致编译错误,或者全程使用root用户)
2. 安装工具链, 参考源码包下的BUILDING说明及apache网站上给出的帮助.
hadoop 依赖库protobuf: https://code.google.com/p/protobuf/
apt-get -y install ant maven build-essential autoconf automake libtool cmake zlib1g-dev pkg-config libssl-dev
安装完毕后执行mvn命令,若提示库错误则执行sudo ldconfig.
3. cd至源码根目录,编译源码
mvn compile -Pnative
4. 编译成功应生成hadoop-maven-plugins 目录,cd进到该目录, 执行mvn install
5. 返回代码根目录执行mvn install
6. 生成Eclipse工程文件
mvn eclipse:eclipse -DskipTests
7. 启动eclipse,工作区选代码根目录,执行File/Import... ,对话框source root选择代码根目录,自动检测到一系列工程,全选导入
等待Eclipse自动编译结束,会出现很多错误,还需要执行以下步骤
8. 配置 Eclipse M2_REPO 变量
Window/Preference/Java/Build Path, M2_REPO默认路径为 /home/<usename>/.m2/repository
9. apache hadoop 2.2.0生成的Eclipse工程文件里 hadoop-streaming 有一个source code外部引用路径不正确,手动修正(capacity-scheduler.xml)
至此,应该没有任何编译错误了。
IntelliJ Idea通过导入Eclipse工程即可完成配置,导入工程之后会提示未定义的Build Path M2_REPO, 修正之即可.
Apache官方的说明:
关于CDH 4.3.1(Hadoop 2.0.0)的编译
CDH4.3.1要求Java版本必须是1.6,直接使用java1.7会报java版本不匹配错误。通过修改pom.xml使用java 1.7编译时会出现编译问题。
相关推荐
如何编译Apache Hadoop2.4.0源代码,详细说明.
Hadoop-2.7.2源码及编译jar包.zip,包含 Apache Hadoop 源码包、编译后的 Win7、Win10、以及 Linux 包。 Hadoop-2.7.2源码及编译jar包.zip,包含 Apache Hadoop 源码包、编译后的 Win7、Win10、以及 Linux 包。 ...
里面是 protobuf-2.5.0.tar.gz apache-ant-1.9.9-bin.tar.gz 和meavn
Hadoop2.7.2 centos7 64位编译后的库文件
内容概要:windows环境下添加snappy源码,并对2.8.5的apache版本hadoop包进行编译,生成指定的hadoop.dll、snappy.dll文件,方便Windows环境下利用idea工具进行Hadoop、Spark的local模式下代码调试。 版本更新:...
阅读源代码前的准备1.1 准备源代码学习环境1.1.1 基础软件下载1.1.2 如何准备Windows环境1.1.3 如何准备Linux环境1.2 获取Hadoop源代码1.3 搭建Hadoop源代码阅读环境1.3.1 创建Hadoop工程1.3.2 Hadoop源代码...
编译Hadoop源码需要到的包: (1)hadoop-2.7.2-src.tar.gz (2)jdk-8-linux-x64.gz (3)apache-ant-1.9.9-bin.tar.gz (4)apache-maven-3.0.5-bin.tar.gz (5)protobuf-2.5.0.tar.gz
所以自己就用cdh的hadoop源码编译了一遍,踩了很多坑。最终还是解决了,能在windows中调试mapreduce了。 ps:csdn上看到同样的资源 竟然要10分,下不起 下不起。只能自己做了,5分服务大众。。。
hadoop2.7汇总:新增功能最新编译64位安装、源码包、API、eclipse插件下载
基于Windows7的apache hadoop2.7.7源码编译后的可执行文件
基于Centos6.10的apache hadoop2.7.7源码编译后的可执行文件
我编译用到的包(protobuf-2.5.0.tar.gz,findbugs-3.0.1.tar.gz,apache-ant-1.9.13-bin.tar.gz,snappy-1.1.1.tar.gz)和...因而在64位生产环境中使用的Hadoop是需要下载源代码并在64位系统中进行成功编译后的版本。
资源中包含linux平台编译Hadoop源码的所有软件和详细步骤: 1、下载安装各种软件库 yum -y install svn ncurses-devel gcc* yum -y install lzo-devel zlib-devel autoconf automake libtool cmake openssl-devel 2...
源码使用的是apache-tez-0.8.3,对应的hadoop版本2.8.3,源码包中的nodejs的版本是v0.12.3,很难编译通过,最后把nodejs改成了v4.0.0才编译通过tez-ui2模块。
基于Docker构建的Hadoop开发测试环境,包含Hadoop,Hive,HBase,Spark+源代码+文档说明 基于Docker的Hadoop开发测试环境使用说明 ## 0.内容 1. 基本软件环境介绍 2. 使用方法简介 3. 已知问题 4. 注意事项 ## 1....
源码使用的是apache-tez-0.8.3,对应的hadoop版本2.7.3,源码包中的nodejs的版本是v0.12.3,很难编译通过,最后把nodejs改成了v4.0.0才编译通过tez-ui2模块。
2.jar包准备(hadoop源码、JDK8、maven、ant 、protobuf) (1)hadoop-2.7.2-src.tar.gz (2)jdk-8u144-linux-x64.tar.gz (3)apache-ant-1.9.9-bin.tar.gz(build工具,打包用的) (4)apache-maven-3.0.5-bin....
linux环境编译源码\protobuf-2.5.0.tar.gz linux环境编译源码\hadoop-2.7.2-src.tar.gz linux环境编译源码\apache-maven-3.0.5-bin.tar.gz linux环境编译源码\apache-ant-1.9.9-bin.tar.gz
apache-ant-1.9.4-bin.tar,apache-maven-3.0.5-bin.tar,findbugs-3.0.0.tar,protobuf-2.5.0.tar
Hadoop源码编译用到的工具Hadoop源码编译用到的工具Hadoop源码编译用到的工具 apache-ant-1.9.14-bin.tar.gz