当前位置:首页 » 其他

NativeCodeLoader: Unable to load native-hadoop library for your platform

2014-08-24 17:56 本站整理 浏览(28)

至今为止,搭建的所有集群里都有这个错误:

14/08/24 05:07:15 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
断断续续地尝试了网上的所有方法,就是觉得比较靠谱的,按照步骤,也没成功过。

今天到公司无偿加班,完成自定任务后,又尝试着解决这个问题,竟然Okay了。

1.系统是64位的;JDK是64位的;hadoop本地库也是64位的,自己编译的。

2.打开hadoop控制台debug输出

export HADOOP_ROOT_LOGGER=DEBUG,console
看到下面的相关输出:

14/08/24 05:14:14 DEBUG util.NativeCodeLoader: Trying to load the custom-built native-hadoop library...
14/08/24 05:14:14 DEBUG util.NativeCodeLoader: Failed to load native-hadoop with error: java.lang.UnsatisfiedLinkError: no hadoop in java.library.path
14/08/24 05:14:14 DEBUG util.NativeCodeLoader: java.library.path=/opt/hadoop-2.4.1/lib
14/08/24 05:14:14 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
1)no hadoop in java.library.path:在java的本地库路径中没有找到hadoop的本地库

2)java.library.path=/op/hadoop-2.4.1/lib :本地库路径是/op/hadoop-2.4.1/lib

去/op/hadoop-2.4.1/lib路径下面查看,只一个native目录,native目录下面才是hadoop的本地库。

3.想到之前在网上找答案的时候,有个版本是让在环境变量加上下面这两句话:

export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_PREFIX}/lib/native  
export HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib"
第一个配置应该是没有问题

就是第二个的事了,将第二个配置改成:

export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native"
启动NameNode,然后运行一个命令看看:

14/08/24 05:47:13 DEBUG util.NativeCodeLoader: Trying to load the custom-built native-hadoop library...
14/08/24 05:47:13 DEBUG util.NativeCodeLoader: Loaded the native-hadoop library
debug出现这样的信息,NameNode已经可以了。4.但是发现所有的DataNode机器,还是不行,Debug信息如下:

14/08/24 05:26:37 DEBUG util.NativeCodeLoader: Trying to load the custom-built native-hadoop library...
14/08/24 05:26:37 DEBUG util.NativeCodeLoader: Failed to load native-hadoop with error: java.lang.UnsatisfiedLinkError: no hadoop in java.library.path
14/08/24 05:26:37 DEBUG util.NativeCodeLoader: java.library.path=/opt/hadoop-2.4.1/lib/native
14/08/24 05:26:37 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
从上面的debug信息可以看出,改的java.library.path生效了,但是还是显示路径中没有找到。5.hadoop本地库明明就在native目录下面,亲眼看见的,NameNode也生效了,怎么在DataNode节点的机器上就找不到!!

没办法了,看源码吧,在org.apache.hadoop.util.NativeCodeLoader.java中有这样一段代码

static {
    // Try to load native hadoop library and set fallback flag appropriately
    if(LOG.isDebugEnabled()) {
      LOG.debug("Trying to load the custom-built native-hadoop library...");
    }
    try {
      System.loadLibrary("hadoop");
      LOG.debug("Loaded the native-hadoop library");
      nativeCodeLoaded = true;
    } catch (Throwable t) {
      // Ignore failure to load
      if(LOG.isDebugEnabled()) {
        LOG.debug("Failed to load native-hadoop with error: " + t);
        LOG.debug("java.library.path=" +
            System.getProperty("java.library.path"));
      }
    }
    
    if (!nativeCodeLoaded) {
      LOG.warn("Unable to load native-hadoop library for your platform... " +
               "using builtin-java classes where applicable");
    }
  }
发现代码中加载的类库的名字是hadoop,也就是在linux操作系统上,这个文件的名是libhadoop.so。

6.去native目录下面ll一下:

-rw-r--r-- 1 root root  971954 Aug 23 23:28 libhadoop.a
-rw-r--r-- 1 root root 1487284 Aug 23 23:28 libhadooppipes.a
-rwxr-xr-x 1 root root  0      Aug 24 05:41 libhadoop.so
-rwxr-xr-x 1 root root  584656 Aug 23 23:28 libhadoop.so.1.0.0
-rw-r--r-- 1 root root  582040 Aug 23 23:28 libhadooputils.a
-rw-r--r-- 1 root root  298170 Aug 23 23:28 libhdfs.a
-rwxr-xr-x 1 root root  0      Aug 24 05:41 libhdfs.so
-rwxr-xr-x 1 root root  200018 Aug 24 04:43 libhdfs.so.0.0.0
发现有这个文件,libhadoop.so。但是大小是0.7.就去NameNode端的native目录下面看一下,发现是这样的:

-rw-rw-r-- 1 hdfs hadoop  971954 Jul 30 07:47 libhadoop.a
-rw-rw-r-- 1 hdfs hadoop 1487284 Jul 30 07:47 libhadooppipes.a
lrwxrwxrwx 1 hdfs hadoop      18 Aug 23 22:11 libhadoop.so -> libhadoop.so.1.0.0
-rwxrwxr-x 1 hdfs hadoop  584656 Jul 30 07:47 libhadoop.so.1.0.0
-rw-rw-r-- 1 hdfs hadoop  582040 Jul 30 07:47 libhadooputils.a
-rw-rw-r-- 1 hdfs hadoop  298170 Jul 30 07:47 libhdfs.a
lrwxrwxrwx 1 hdfs hadoop      16 Aug 23 22:11 libhdfs.so -> libhdfs.so.0.0.0
-rwxrwxr-x 1 hdfs hadoop  200018 Jul 30 07:47 libhdfs.so.0.0.0
原来是个符号链接文件。应该就是问题所在了,于是将DataNode端的libhadoop.so和libhdfs.so删除,然后重做符号链接。就可以了。

8.总结一下,就是有3个地方需要注意:

1)OS位数,JDK位数,Hadoop本地库位数要一致

2)配置java.library.path能够找到Hadoop的本地库。

3)Hadoop自己要找的本地库的名字是libhadoop.so这个文件,确保有这个文件,这个文件时libhadoop.so.1.0.0这个文件的软链接,libhdfs.so也是同样的情况