原创文章,转载请注明出处:http://qq85609655.iteye.com/blog/2109124
最近,hadoop升级到了最新的2.4版本
使用ambari 部署完毕后。
使用开源的ETL工具Kettle,最新的版本是5.1
下载地址:http://jaist.dl.sourceforge.net/project/pentaho/Data%20Integration/5.1/pdi-ce-5.1.0.0-752.zip
最新的版本已经包含了hadoop的版本,不过是2.2.0的版本,这里存在版本冲突。尤其是MR2的
org.apache.hadoop.mapreduce.JobCounter.MB_MILLIS_MAPS等枚举属性多了,导致兼容问题的存在。。。
这里主要将,如何解决
首先对拷贝一致的版本包
cp /usr/lib/hadoop/hadoop-*[0-9].jar ${KETTLE_HOME}/plugins/pentaho-big-data-plugin/hadoop-configurations/hdp20/lib/client cp /usr/lib/hadoop-hdfs/hadoop-*[0-9].jar ${KETTLE_HOME}/plugins/pentaho-big-data-plugin/hadoop-configurations/hdp20/lib/client cp /usr/lib/hadoop-mapreduce/hadoop-*[0-9].jar ${KETTLE_HOME}/plugins/pentaho-big-data-plugin/hadoop-configurations/hdp20/lib/client cp /usr/lib/hadoop-yarn/hadoop-*[0-9].jar ${KETTLE_HOME}/plugins/pentaho-big-data-plugin/hadoop-configurations/hdp20/lib/client
拷贝一致的版本,同时删除hadoop-*2.2.0.2.0.6.0-76.jar的包
rm -f ${KETTLE_HOME}/plugins/pentaho-big-data-plugin/hadoop-configurations/hdp20/lib/client/hadoop-*2.2.0.2.0.6.0-76.jar
拷贝配置文件
cd /etc/hadoop/conf cp core-site.xml ${KETTLE_HOME}/plugins/pentaho-big-data-plugin/hadoop-configurations/hdp20 cp hdfs-site.xml ${KETTLE_HOME}/plugins/pentaho-big-data-plugin/hadoop-configurations/hdp20 cp mapred-site.xml ${KETTLE_HOME}/plugins/pentaho-big-data-plugin/hadoop-configurations/hdp20 cp yarn-site.xml ${KETTLE_HOME}/plugins/pentaho-big-data-plugin/hadoop-configurations/hdp20
到了这一步,基本上就完成了,执行Kettle的job试试。
发现报错
这个什么原因,查询是包${KETTLE_HOME}/plugins/pentaho-big-data-plugin/hadoop-configurations/hdp20/lib/client/hadoop-yarn-common-2.4.0.2.1.2.1-471.jar这个包不存在方法,可是通过反编译,明明存在呀。
百思不得其解,原来万恶的windows补丁造成的,这个补丁被先加载。。。
rm -f ${KETTLE_HOME}/plugins/pentaho-big-data-plugin/hadoop-configurations/hdp20/lib/hadoop2-windows-patch-01092014.jar
再尝试下,OK,完美!
相关推荐
PDI Kettle 最权威的最佳实践,让你的ETL 开发少走弯路
ppt介绍了 ETL的流程以及Spoon图形化界面的简单使用,以及carte,pan.kitchen的使用
pentaho kettle PDI 9.2下载
PDI 9.4 下载地址: https://www.hitachivantara.com/en-us/products/pentaho-platform/data-integration-analytics/pentaho-community-edition.html https://sourceforge.net/projects/pentaho/
通过源码编译的pdi Kettle 9.6.0.0 版本 使用方式: 解压后双击执行Spoon.bat即可
kettle9.2下载,亲测可用pdi-ce-9.2.0.0-290
PDI/Kettle数仓技术PDI/Kettle开源免费的ETL推送工具PDI/Kettle数据清洗PDI/Kettle数据抽取PDI/Kettle数据挖掘PDI/Kettle案例实战PDI/Kettle技巧PDI/Kettle9.1版本PDI/Kettle通用PDI/Kettle水壶技术适合人群: ...
pentaho kettle PDI 9.2下载
NULL 博文链接:https://lihongtai.iteye.com/blog/2173599
pentaho-kettle是开源的etl工具,这个是自编译的kettle9.5版本pdi-ce-9.5.0.1-261,请使用JDK17运行,支持macos m1芯片 win,linux,解压就能用。如果有条件也可以自己编译,具体可以看我的csdn博客,kettle 从9.4 ...
《Pentaho Kettle解决方案:使用PDI构建开源ETL解决方案》介绍的PDI(Kettle)是一种开源的 ETL 解决方案,书中介绍了如何使用PDI来实现数据的剖析、清洗、校验、抽取、转换、加载等各类常见的ETL类工作。 除了ODS/DW...
《Pentaho Kettle解决方案:使用PDI构建开源ETL解决方案》主要介绍如何使用开源ETL工具来完成数据整合工作。 《Pentaho Kettle解决方案:使用PDI构建开源ETL解决方案》介绍的PDI(Kettle)是一种开源的 ETL 解决方案,...
2020年2月官方9.0最新版Kettle,百度网盘地址含取件码,可在Linux/Windows/Mac上解压后直接运行。
《Pentaho Kettle解决方案:使用PDI构建开源ETL解决方案》介绍的PDI(Kettle)是一种开源的 ETL 解决方案,书中介绍了如何使用PDI来实现数据的剖析、清洗、校验、抽取、转换、加载等各类常见的ETL类工作。 除了ODS/DW...
《Pentaho Kettle解决方案:使用PDI构建开源ETL解决方案》介绍的PDI(Kettle)是一种开源的 ETL 解决方案,书中介绍了如何使用PDI来实现数据的剖析、清洗、校验、抽取、转换、加载等各类常见的ETL类工作。 除了ODS/DW...
Kettle工具pdi-ce-7.1.0.12最新版百度网盘下载,CSDN上传有大小限制,
《Pentaho Kettle解决方案:使用PDI构建开源ETL解决方案》介绍的PDI(Kettle)是一种开源的 ETL 解决方案,书中介绍了如何使用PDI来实现数据的剖析、清洗、校验、抽取、转换、加载等各类常见的ETL类工作。 除了ODS/DW...
java操作kettle(pdi-ce-8.2.0.0-342)的job、transf 使用的jar
本文档介绍了kettle常用组件的使用方法,并附截图。。 适合新接触kettle的朋友
Pentaho Data Integration(原名 kettle),业界使用最广泛的企业级开源可视化 ETL 数据清洗系统,特别适合企业数据研究人员、DBA 等,用于企业内部系统间数据集成、搭建数据仓库等,既可处理主流数据库,也能处理...