原创文章,转载请注明出处:http://qq85609655.iteye.com/blog/2268290
1. 建表
CREATE EXTERNAL TABLE hdfs_test ( id int, name varchar(128) ) LOCATION ('gphdfs://hadoopNameNode:8020/data/gpext/1.dat') FORMAT 'TEXT' (DELIMITER ',') ; select * from hdfs_test ;
2. 配置/home/gpadmin/.bashrc
export JAVA_HOME=/usr/jdk64/jdk1.8.0_40 export HADOOP_HOME=/usr/hdp/current/hadoop-client export PATH=$PATH:$JAVA_HOME/bin/:$HADOOP_HOME/bin export HADOOP_VERSION=2.7.1
3. 更新greenplum配置
gpconfig -c gp_hadoop_target_version -v hdp2 gpconfig -c gp_hadoop_home -v '/usr/hdp/current/hadoop-client' gpstop -u gpstop -r
4. 如果还是出现下面异常
Exception in thread ""main"" java.lang.NoClassDefFoundError: org/apache/hadoop/mapreduce/TaskAttemptContext at java.lang.Class.getDeclaredMethods0(Native Method) at java.lang.Class.privateGetDeclaredMethods(Class.java:2701) at java.lang.Class.privateGetMethodRecursive(Class.java:3048) at java.lang.Class.getMethod0(Class.java:3018) at java.lang.Class.getMethod(Class.java:1784) at sun.launcher.LauncherHelper.validateMain Command: 'gphdfs://hadoopNameNode:8020/data/gpext/1.dat'
找不到类的原因,就是配置文件,经常查找相关资料,目前greenplum版本支持Hortonworks发行版HDP2.1,之后的版本并不支持,HDP2.2发行版安装的路径已经变化,通过查看cat /usr/local/greenplum-db/lib/hadoop/hadoop_env.sh的代码了解的mapreduce并没有添加到classpath中,找到问题就简单了,添加
if [ -d "$HADOOP_COMMON_HOME/client" ]; then for f in $HADOOP_COMMON_HOME/client/*.jar; do CLASSPATH=${CLASSPATH}:$f; done fi
再次重启greenplum使配置生效,经过测试,完美
...
相关推荐
Greenplum 8.2数据词典-查询指定用户下的表和表的字段,陆续更新和优化!~
2.1 查看原始表的大小行数与结构 2 2.2 同步语句2 2.3 查看 cpu 与内存的使用情况3 2.3.1 查看 Master CPU 与内存使用情况3
摘要:针对分布式数据库查询效率随着数据规模的增大而降低的问题,以Greenplum分布式数据库为研究对 象,从优化查询路径的角度提出一个基于代价的最优查询计划生成方法。首先,该方法设计一种有效的代价模型来 估算...
使用外部数据 外部表和外表都可以访问存储在Greenplum数据库之外的数据源中 的数据,就好像数据存储在常规数据库表中一样。您可以从外部表 和外表读取和写入数据。 装载和卸载数据 这一节中的主题描述了...
Greenplum 中的数据字典 1. 字典表 1 2. pg_class 表 2 例子: 1. postgresql中,所有数据库的对象都是用oid连接在一起的。 3 2. 获取表的字段信息。 4 3. 获取表的分布键: 5 ...8. 查询表的依赖关系 13
postgresql greenplum建表语句超详细 带说明 详细物理建模所需参数
Greenplum是一家总部位于美国加利福尼亚州,为全球大型企业用户提供新型企业级数据仓库(EDW)、企业级数据云(EDC)和商务智能(BI)提供解决方案和咨询服务的公司,在全球已有:纳斯达克,纽约证券交易所,Skype....
greenplum6.7安装包
greenplum--orca查询优化器详解1
Greenplum 集群之间同步数据方法及性能.....................................................................................1 1 概述..........................................................................
基于数据挖掘的Greenplum分析.pdf
1、 获取集群中数据库信息2 2、 查看数据库下 schema 信息 2 3、 查看 schema 下表的信息 2 1、获取集群中数据库信息 2、查看数据库下
spark 并行加载 greenplum 数据,为正确运行,需引入 spark 相关包和 greenplum 驱动。 <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core --> <groupId>org.apache.spark ...
NULL 博文链接:https://yangyangmyself.iteye.com/blog/2279597
DataBase:判断表是否存在、表或分区表是否有数据、是否为分区表、数据导出、表分区遍历、指定分区表导出等方法 py_main:主程序目录: Main_Mem.py:主程序目录: 运行:python3 Main_Mem.py ProcessLog1 ...
Greenplum分布式大数据数据平台实战培训视频- 01-Greenplum架构(1)
greenplum学习笔记
单机数据(仓)库 数据量GB级(最多几个TB) Infobright MPP数据(仓)库 ... 采用HDFS作为统一的数据存储 采用MapReduce-like或者MPP-like的计算引擎 Hive / Spark SQL / Presto / Impala / HAWQ
Greenplum分布式大数据数据平台实战培训视频- 03-安装Greenplum(1)