ITeye博客

圈圈

li.oo · 共 23 篇文章

[置顶] 在linux+eclipse 环境下编译hadoop1.0.3源码

在fedora 17 环境下编译hadoop1.0.3,准备如下: 1. JDk1.6 2. ECLIPSE4.2 3. ANT1.7.1 4. protoc (下载protoc-2.4.1.tar.gz,解压,然后安装) 5. g++ 6.MAVEN3 下载hadoop源码从http://svn.apache.org/repos/asf/hadoop/common/tags/ release-1.0.3/ 进入hadoop目录,执行命令:ant 显示build成功后执行命令: ant eclipse 然后就可以进入eclipse,选择import-》exsiting project int…

2012-11-14 19:04 · hadoop · 评论(0)

macos使用npm遇到的权限问题解决

经常看到有人说『为啥npm install 的时候报错,显示EACCESS错误…』,之前大家都是sudo大法解决问题,也没太在意。 至于这个问题是brew安装工具的时候造成的,还是系统修改磁盘权限造成的,还是安装各种小工具的时候造成的不得而知…(这个实在懒得追究了) 最近在搞generator的时候,如果不想把一些文件包含在generator中,那么会调用npm install,所以会遇到报错… NPM 维护者的解决方案是: https://github.com/npm/npm/issues/5922 Shell: sudo chown-R whoami /usr/local 不过似乎忘记清…

2015-11-24 23:39 · MacOS · 评论(0)

Git使用规范流程

团队开发中,遵循一个合理、清晰的Git使用流程,是非常重要的。 否则,每个人都提交一堆杂乱无章的commit,项目很快就会变得难以协调和维护。 下面是ThoughtBot 的Git使用规范流程。我从中学到了很多,推荐你也这样使用Git。 第一步:新建分支 首先,每次开发新功能,都应该新建一个单独的分支(这方面可以参考《Git分支管理策略》)。 获取主干最新代码 $ git checkout master $ git pull 新建一个开发分支myfeature $ git checkout -b myfeature 第二步:提交分支commit 分支修改后,就可以提交commit了。 $ g…

2015-11-24 23:34 · 代码工具 · 评论(0)

将博客搬至CSDN

2014-12-01 16:20 · 评论(0)

impala + hive metastore遇到的问题

impala版本:1.1.1 hive:0.10.0-cdh4.4.0 hadoop:hadoop-2.0.0-cdh4.2.2 数据存储在hadoop的HDFS,文件格式是RCFile,用impala创建external table方式关联文件。一直都正常运行,但因为数据量太大,业务应用访问太慢,需要将table分区,但没想分区太多。出现了异常,异常内容如下: ERROR: AnalysisException: Failed to load metadata for table: my_table CAUSED BY: TableLoadingException: TableLoading…

2014-03-26 15:35 · 技术类 · 评论(0)

Oracle Big Data Connectors for hadoop-1.0.3配置遇到的问题

1. 安装环境: hadoop-1.0.3集群,节点215(namenode), 216,217, 218(datanode) oracle11g ,节点156. 解压oraosch-2.2.0.zip到156节点,并copy 与hadoop集群一样配置的代码一份到156节点 2. 参照 http://space.itpub.net/7607759/viewspace-761364 配置ORACLE连接HADOOP,但执行命令 hadoop jar \ > ${ORAHDFS_JAR} oracle.hadoop.hdfs.exttab.ExternalTable \ > -D oracle…

2013-08-15 13:04 · 评论(0)

运行“基于 Apache Mahout 构建社会化推荐引擎”中例子遇到的问题

下载了MovieSite这个包,解压导入Eclipse遇到很多问题。记录下步骤 首先导入eclipse后,build path中引入的几个tomcat library路径不正确。需要根据你的tomcat路径,重新引入。还有需要下载mysql 驱动,我下载的是mysql-connector-java-5.1.10-bin.jar,导入build path。如果你是通过在eclipse中的tomcat plugin(com.sysdeo.eclipse.tomcat)来运行这个web程序,还需要将该驱动jar包拷贝一份到tomcat的lib目录下。 然后修改tomcat的server.xml或者…

2013-07-26 10:28 · Mahout · 评论(0)

运行应用报the application required a Java Runtime Environment 1.6.0

下载安装了一个时间管理软件,运行报the application required a Java Runtime Environment 1.6.0错误。 我已经安装了JDK1.6.0_14,但是绿色解压版。在环境变量中设置了JAVA_HOME,PATH,CLASSPATH。但运行仍然报错。找到资料说要把jre写入注册表。尝试了网上的说法,新建一个reg文件 Windows Registry Editor Version 5.00 [HKEY_LOCAL_MACHINE\SOFTWARE\JavaSoft] [HKEY_LOCAL_MACHINE\SOFTWARE\JavaSoft\Java…

2013-07-24 11:15 · 评论(0)

zookeeper异常,导致的hbase启动失败问题

安装版本hadoop1.0.3, hbase0.94.1,使用hbase自带的zookeeper。 之前运行正常,因为机器异常关机重启后,hbase无法正常启动。 检查发现log异常如下: org.apache.zookeeper.server.quorum.quorumpeer unable to load database on disk...... 解决办法: 因为在hbase-site.xml中没有指定zookeeper的datadir。默认是在/tmp目录下。找到该目录下/tmp/.../zookeeper/version-2。删掉这个文件夹,重启系统。zookeeper能正常启动…

2013-06-17 17:19 · hbase · 评论(0)

java heap和stack区别

Heap: 1. 主要是存储新建object和variable,系统gc自动回收 2. 分为3个区:young,old, permanent. young区主要存放刚刚初始化的对象,当系统发现一定时间内都未被使用的对象,就会移动到old区. stack: 1. 操作系统在建立某个进程时或者线程(在支持多线程的操作系统中是线程)为这个线程建立的存储区域,该区域具有先进后出的特性 2. 存储效率比heap高,可共享存储数据。比如int a = 3, int b = 3.系统会在stack中先创建a,b两个对象引用,存放3这个数据,a,b引用同时指向3. 又比如:String x = new St…

2013-03-14 16:47 · 评论(0)

Cloudera Free分布式安装

不采用cloudera全自动安装方式,参考Cloudera官方文章安装指导,一步步下载安装。我有3台ubuntu12.04 64bit VM, 1台ubuntu12.04 x86 vm 192.168.2.31 master 192.168.2.32 slave1 192.168.2.33 slave2 192.168.2.34 管理平台 1.首先每台都安装JDK1.6.0.35(我的机器之前已经有解压版的jdk,在/etc/profile设定了JAVA_HOME) 2.在31 ~ 33上面分分别执行命令: apt-get install bigtop-utils bigtop-jsvc b…

2013-02-04 16:59 · 评论(0)

搬迁vm导致hadoop namenode启动失败的问题

原来在vmworkstation上部署了3台hadoop的分布式环境,运行一切正常。因为资源问题,我把其中一台的vm文件copy到另外一台实体机上,一共copy了3分,又打算部署一个同样的hadoop分布式环境。配置好ssh互相认证授权,机器建可以互相访问。所有配置都没有,除了机器名,相应改掉core-site.xml, mapred-site.xml里面的机器名称。执行start-all.sh,但namenode启动一会就挂了,报如下错误: ....... InterruptedException.java.lang.InterruptedException: sleep interrup…

2013-01-11 10:58 · hadoop · 评论(0)

hbase编译遇到的问题

因为公司内外网切换,我原来放在外网可以开发hbase的环境不能用,只能整个copy 开发环境(linux vm)到外网。但打开eclipse,hbase一堆错误。一个个解决 1. 由于外网也只要靠proxy才能上网。先设置好linux 的proxy。 2. 在eclipse环境下执行maven update,总报错Could not calculate build plan: Plugin org.apache.maven.plugins:maven-antrun-plugin:1.3 or one of its dependencies could not be resolved(原来hb…

2012-12-26 17:18 · hbase · 评论(0)

修改hosts的host mapping不生效

在windows xp环境下,修改hosts,添加我的新host mapping,如下: 192.168.128.33 master 保存并退出后 执行ping 192.168.128.33 ,可以ping通 但执行ping master,死活都不通 最后请高人指点,找到方法解决,mark下。 1. 打开本地连接-》Internet protocol version 4(TCP/IPv4)->Advanced->Wins tab 2. 选中Enable LMHOSTS lookup前面的checkbox,然后点击import LMHOSTS, 选择%WINDOWS%\system32\dri…

2012-12-24 13:45 · system · 评论(0)

eclipse 设定proxy,仍不能连网的问题

有的eclipse在perferences-》General-》Network connection设定代理后,仍不能连接网络下载jar。解决方法:在eclipse.ini下面加: -Dorg.eclipse.ecf.provider.filetransfer.excludeContributors=org.eclipse.ecf.provider.filetransfer.httpclient -Dhttp.proxyPort=8080(your port) -Dhttp.proxyHost=192.168.19.200(your IP) -Dhttp.nonProxyHosts=loca…

2012-12-17 20:17 · tool · 评论(0)