摘要：
单拿标题来讲，看来有点装x，但是没有恶意，知识记录自己的学习过程，希望能碰到一些志同道合的人，一起讨论。首先，我们要理解：什么是hadoop？给人的第一感觉就一个字“云”，似乎带着点神奇的色彩，不可否认hadoop有他独特的地方，但也没那么神乎其神。他是一个开源框架，可以编写和运行分布式应用处理大规模数据，通过建立hadoop集群和运行一些mapred例子，我所感到只有就个字：“方便”、“健壮”、“可扩展”、“简单”。hadoop自身带有文件系统，可以处理大规模数据，相比较下：会和sql数据库有什么区别呢？1.随着数据量的增大，提高数据库配置的开销越来越大，2倍于pc机的服务器的价格远远高于2 阅读全文
2011年12月5日
摘要：
<meta http-equiv="Content-Type" content="text/html; charset=gb2312" />
<?php
/*
php ftp类主要功能：
1.连接ftp并登陆；
2.创建目录和删除目录；
3.上传文件和删除文件；
*/ include 'config.php'; class Net_FTP {
var $ftp_server;
var $ftp_user;
var $ftp_pass;
var $ftp_port;
var $conn_id;
function Net_F 阅读全文
摘要：
import ftplib
import os
import socket HOST='192.168.30.109'
FILE='test' def main(): try: f=ftplib.FTP(HOST) except (socket.error,socket.gaierror),e: print 'ERROR:cannot reach "%s"'% HOST return print '***connected to host "%s"' % HOST try: f.log... 阅读全文
摘要：
#coding=gbk
'''
socket 给百度发送http请求 连接成功后，发送http的get请求，所搜索功能 '''
import socket
import sys
import time
if __name__=='__main__': #创建套接字 try : sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM) except socket.eorror,e: print 'socket false:%s'%e print 'soc 阅读全文
摘要：
代码均已测试：希望高人能指点一二服务端： #coding=gbk
'''
等待连接
等待发送文件
读取数据
写入文件并且保存
等待连接
'''
import socket
import threading
import time
import struct
def function(newsock, address): FILEINFO_SIZE = struct.calcsize('128sI') '''定义文件信息（包含文件名和文件大小）大小。128s代表128个char[]（文件名），I代表一个int 阅读全文
摘要：
一篇毫无技术含量的pig安装，大家在安装pig前，想必已经安装好了hadoop，这里就不在强调java的版本和JAVA_HOME的配置问题了1.下载pig包：(我的网盘里面pig-0.9.1)http://115.com/file/dneclpetapache版本：http://pig.apache.org/2.解压文件：# tar -zxvf pig-0.9.1.tar.gz3.配置/etc/profitexport PIG_INSTALL=/usr/pig/pig-0.9.1
export PATH=$PATH:$PIG_INSTALL/bin
export PIG_HADOOP_VERS 阅读全文
摘要：
刚刚安装好hadoop迫不及待要玩下hive，所以自己找了些资料，安装了下hive，这里记录详细的安装过程和碰到的问题：1.在安装hadoop之前首先确定hadoop已经安装成功，具体安装方法请参考hadoop安装。2.下载hive版本 我下载的是 下载地址为http://hive.apache.org/releases.htm解压文件：tar -zxvf hive-0.7.0-bin.tar.gz3.配置环境变量：[root@localhost hive]# vim /etc/profileexport HADOOP_HOME=/root/hadoop-0.20.2export PATH=$ 阅读全文
摘要：
安装hadoop常见错误整理：（这里会不断地添加，也希望大家多提一些错误一起解决）1.Hadoop初始化错误INFO org.apache.hadoop.ipc.Client: Retryingconnect to server: uec-fe/16.157.63.10:9000. Already tried 0 time(s). 这种情况对数出现在启动namenode时成功，但是运行job时就会一直连接。 通过查看TaskTracker日志可以看到不停地Retryingconnect,但是一直连不上，有如下解决办法： A:在启动hadoop前没有格式化namenode，需要再每次启动前格式化 阅读全文
摘要：
首先说一下配置环境：三台电脑192.168.30.149 hadoop149 namenode和jobtracker ###因为149机器稍微好一点
192.168.30.150 hadoop150 datanode和TaskTracker
192.168.30.148 hadoop150 datanode和TaskTracker配置ssh无需密码登陆：$ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys我的master在149可以吧149 阅读全文
摘要：
刚刚学习hadoop，安装有点吃力，希望通过记录过程能够给遇到同样问题的人一个答案。话不多说直接进入主题。在公司拿来了三台电脑首先安装linux系统，这里不多说细节，唯一注意的ip设置好就可以了。下面介绍我建起hadoop集群的过程(非常详细因为是菜鸟，高手就不用看了)：1.配置ip：可以写文件，也可以用界面方式安装，这里我用的是setup命令（因为方便），运行setup出现如下界面：进入Networkconfiguration（可用Tab键切换到run Tool）：配置eth0网卡(到Use DHCP时按‘空格’即可编写ip地址)：配置完成后退出；执行[root@localhost~]# / 阅读全文
