CentOS下 Graph Analytics集群安装

时间:2015-11-04 01:17来源:未知 作者:本站 举报 点击:

官方安装文档:

https://github.com/dato-code/PowerGraph/blob/master/TUTORIALS.md#cluster

操作系统:centos6.5 64

1. 首先在一个节点上安装graphlab,我的安装路径为/home/liulan/software/

2. 安装依赖软件gcc, c++, git, make, cmake, openmpi, autoconf, automake...使用yum安装即可。注意openmpi每个节点的路径要一致。

3. 下载软件,并运行configure:

[plain] view plaincopy
 
  1. git clone https://github.com/graphlab-code/graphlab.git  
  2. cd graphlab  
  3. ./configure  

 

4. 选择要安装的toolkit编译,我编译的是graph_analytics,执行以下命令:

[plain] view plaincopy
 
  1. cd release/toolkits/graph_analytics  
  2. make -j4  
到这儿的时候出错了,错误如下:

 

 

这一段是同学给帮忙解决的,两个人都要哭了。。

好像是因为不能生成共享的动态库,不太明白。具体方法是把hadoop下makefile文件的LDFLAGS内容改一下,如下:


 

最后看到生成的亮亮的绿色文件简直要哭了。。

(PS:.so为动态链接库,.a静态链接库)

5. 接下来开始部署分布式环境,当前主目录下建立machines文件,并写入每个节点的ip地址,每个ip之间回车隔开;

[plain] view plaincopy
 
  1. 10.1.1.103  
  2. 10.1.1.101  
  3. 10.1.1.105  

6. 确保每台机器上相同目录下都有这个文件;

7. 设置每台机器之间相互ssh免密码登录,我用的办法好像有点诡异,不过很简单:将master节点上的.ssh文件夹拷贝到其他机器上,然后将每个节点的.ssh/id_rsa文件权限改为600,具体的方法之前的文章有提到过;

8. 在安装graphlab(master)节点上执行以下命令以将GraphLab文件拷贝到所有机器上:

[plain] view plaincopy
 
  1. cd /home/liulan/software/graphlab/release/toolkits  
  2. <pre name="code" class="plain">/home/liulan/software/<span style="font-family: Arial, Helvetica, sans-serif;">graphlab/scripts/mpirsync</span>  
[plain] view plaincopy
 
  1. /home/liulan/software/<span style="font-family: Arial, Helvetica, sans-serif;">graphlab/deps/local</span>  
[plain] view plaincopy
 
  1. /home/liulan/software/<span style="font-family: Arial, Helvetica, sans-serif;">graphlab/scripts/mpirsync</span>  

 


我的openmpi可能没配置好吧,需要修改mpirsync文件:

 

运行mpirsync之后发现rsync没有装,于是又把rsync配置好,网上资料很多;

之后这一步应该就能成功通过了吧;

hadoop就先不配置了,过程也很简单,这会儿可以自己跑跑自带的程序试试了;

网上的中文安装文档:http://blog.csdn.net/zongzhou1234/article/details/39972495

发表评论
为了和诣的生活,我关闭了评论页面,请大家到QQ群里交流吧:348944156,也欢迎关注本站微信公众号:centoscn