1. 安装显卡驱动和CUDA

1
2
3
4

apt-key adv --fetch-keys http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/7fa2af80.pub
echo "deb http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64 /" | sudo tee /etc/apt/sources.list.d/cuda.list
sudo apt-get update
sudo apt-get -y install cuda-drivers cuda

2. 安装 ewbf-miner

到这里下载 https://github.com/nanopool/ewbf-miner/releases

3. 连接矿池开始挖矿

在这里可以看到全球各大矿池的算力大小: https://explorer.zcha.in/statistics/miners

连接 f2pool,

./miner --server zec.f2pool.com --user t1P4fnXWE3XibaZEEt99y1K7A3qBhg2rVnw.asusgtx1080 --pass z --port 3357

连接flypool,

./miner --server us1-zcash.flypool.org --user t1P4fnXWE3XibaZEEt99y1K7A3qBhg2rVnw.asusgtx1080 --pass z --port 3333

我对比了一下第一大的flypool和第二大的f2pool, 分别挖了一天，感觉 flypool一天大概能挖0.08 ZEC, f2pool 一天能得到 0.12 ZEC，相差好几倍，所以我目前选择 f2pool。

短网址的长度该设计为多少呢？ 当前互联网上的网页总数大概是 45亿(参考 http://www.worldwidewebsize.com)，超过了 $2^{32}=4294967296$，那么用一个64位整数足够了。

一个64位整数如何转化为字符串呢？，假设我们只是用大小写字母加数字，那么可以看做是62进制数，$log_{62} {(2^{64}-1)}=10.7$，即字符串最长11就足够了。

实际生产中，还可以再短一点，比如新浪微博采用的长度就是7，因为 $62^7=3521614606208$，这个量级远远超过互联网上的URL总数了，绝对够用了。

现代的web服务器（例如Apache, Nginx）大部分都区分URL里的大小写了，所以用大小写字母来区分不同的URL是没问题的。

因此，正确答案：长度不超过7的字符串，由大小写字母加数字共62个字母组成

一对一还是一对多映射？

一个长网址，对应一个短网址，还是可以对应多个短网址？ 这也是个重大选择问题

一般而言，一个长网址，在不同的地点，不同的用户等情况下，生成的短网址应该不一样，这样，在后端数据库中，可以更好的进行数据分析。如果一个长网址与一个短网址一一对应，那么在数据库中，仅有一行数据，无法区分不同的来源，就无法做数据分析了。

以这个7位长度的短网址作为唯一ID，这个ID下可以挂各种信息，比如生成该网址的用户名，所在网站，HTTP头部的 User Agent等信息，收集了这些信息，才有可能在后面做大数据分析，挖掘数据的价值。短网址服务商的一大盈利来源就是这些数据。

正确答案：一对多

如何计算短网址

现在我们设定了短网址是一个长度为7的字符串，如何计算得到这个短网址呢？

最容易想到的办法是哈希，先hash得到一个64位整数，将它转化为62进制整，截取低7位即可。但是哈希算法会有冲突，如何处理冲突呢，又是一个麻烦。这个方法只是转移了矛盾，没有解决矛盾，抛弃。

MySQL数据库有一个自增ID，能不能借鉴这个呢？每来一个长网址，就给它发一个号码，这个号码不断的自增。这个方法跟哈希相比，好处是没有冲突，不用考虑处理冲突的问题。如何实现单台的发号服务器呢？可以用一台MySQL服务器来做（一定要用 REPLACE INTO，不要存储所有ID），也可用一台Redis服务器（用INCR），一行代码也不用写；也可以自己写一个RESTful API，代码也很简单，就不赘述了。

单台发号器有什么缺点呢？它是一个单点故障(SPOF, Single Point Of Failure)，也会成为性能瓶颈（其实，如果你的QPS能大到压垮这台MySQL，那说明你的短网址服务很成功，可以考虑上市了:D），所以它适合中小型企业，对于超大型企业（以及在面试显得追求高大上），我们还是要继续思考更好的方案，请接着往下看。

下面开始讲如何打造多台机器组成的分布式发号器。

1. 使用UUID算法或者MongoDB产生的ObjectID。其实MongoDB的ObjectID也算是一种UUID，这类算法，每台机器可以独立工作，天然是分布式的，但是这类算法产生的ID通常都很长，那短网址服务还有什么意义呢？所以这个方法不行。
2. 多台MySQL服务器。前面讲了单台MySQL作为发号服务器，那么自然可以扩展一下，比如用8台MySQL服务器协同工作，第一台MySQL初始值是1，每次自增8，第二台MySQL初始值是2，每次自增8，一次类推。前面用一个 round-robin load balancer 挡着，每来一个长网址请求，由 round-robin balancer 随机地将请求发给10台MySQL中的任意一个，然后返回一个ID。Flickr用的就是这个方案，仅仅使用了两台MySQL服务器。这个方法仅有的一个缺点是，ID是连续的，容易被爬虫抓数据，爬虫基本不用写代码，顺着ID一个一个发请求就是了，太方便了（手动斜眼）。

3. 分布式ID生成器(Distributed Id Generator)。分布式的产生唯一的ID，比如 Twitter 有个成熟的开源项目，就是专门做这个的，Twitter Snowflake 。Snowflake的核心算法如下：

   
   最高位不用，永远为0，其余三组bit占位均可浮动，看具体的业务需求而定。默认情况下41bit的时间戳可以支持该算法使用到2082年，10bit的工作机器id可以支持1023台机器，序列号支持1毫秒产生4095个自增序列id。

   Instagram用了类似的方案，41位表示时间戳，13位表示shard Id(一个shard Id对应一台PostgreSQL机器),最低10位表示自增ID，怎么样，跟Snowflake的设计非常类似吧。这个方案用一个PostgreSQL集群代替了Twitter Snowflake 集群，优点是利用了现成的PostgreSQL，容易懂，维护方便。

因此，正确答案：分布式发号器(Distributed ID Generator)，Flick, Twitter Snowflake 和 Instagram的方案都是不错的选择。

如何存储

如果存储短网址和长网址的对应关系？以短网址为 primary key, 长网址为value, 可以用传统的关系数据库存起来，例如MySQL, PostgreSQL，也可以用任意一个分布式KV数据库，例如Redis, LevelDB。

如果你手痒想要手工设计这个存储，那就是另一个话题了，你需要完整地造一个KV存储引擎轮子。当前流行的KV存储引擎有LevelDB何RockDB，去读它们的源码吧 :D

301还是302重定向

这也是一个有意思的问题。这个问题主要是考察你对301和302的理解，以及浏览器缓存机制的理解。

301是永久重定向，302是临时重定向。短地址一经生成就不会变化，所以用301是符合http语义的。但是如果用了301， Google，百度等搜索引擎，搜索的时候会直接展示真实地址，那我们就无法统计到短地址被点击的次数了，也无法收集用户的Cookie, User Agent 等信息，这些信息可以用来做很多有意思的大数据分析，也是短网址服务商的主要盈利来源。

所以，正确答案是302重定向。

可以抓包看看新浪微博的短网址是怎么做的，使用 Chrome 浏览器，访问这个URL http://t.cn/RX2VxjI，是我事先发微博自动生成的短网址。来抓包看看返回的结果是啥，

可见新浪微博用的就是302临时重定向。

预防攻击

如果一些别有用心的黑客，短时间内向TinyURL服务器发送大量的请求，会迅速耗光ID，怎么办呢？

首先，限制IP的单日请求总数，超过阈值则直接拒绝服务。

光限制IP的请求数还不够，因为黑客一般手里有上百万台肉鸡的，IP地址大大的有，所以光限制IP作用不大。

可以用一台Redis作为缓存服务器，存储的不是 ID->长网址，而是 长网址->ID，仅存储一天以内的数据，用LRU机制进行淘汰。这样，如果黑客大量发同一个长网址过来，直接从缓存服务器里返回短网址即可，他就无法耗光我们的ID了。

参考资料

• Sharding & IDs at Instagram
• Ticket Servers: Distributed Unique Primary Keys on the Cheap
• Twitter Snowflake
• 短 URL 系统是怎么设计的？

1. 安装显卡驱动和CUDA

1
2
3
4

apt-key adv --fetch-keys http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/7fa2af80.pub
echo "deb http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64 /" | sudo tee /etc/apt/sources.list.d/cuda.list
sudo apt-get update
sudo apt-get -y install cuda-drivers cuda

2. 编译安装 Genoil/cpp-ethereum

1
2
3
4
5
6
7
8
9
10

sudo apt -y install software-properties-common
sudo add-apt-repository -y ppa:ethereum/ethereum
sudo apt -y update
sudo apt -y install git cmake libcryptopp-dev libleveldb-dev libjsoncpp-dev libjsonrpccpp-dev libboost-all-dev libgmp-dev libreadline-dev libcurl4-gnutls-dev ocl-icd-libopencl1 opencl-headers mesa-common-dev libmicrohttpd-dev build-essential
git clone git@github.com:Genoil/cpp-ethereum.git
cd cpp-ethereum/
mkdir build
cd build
cmake -DBUNDLE=cudaminer ..
make -j8

编译完成后会在当前目录的子目录ethminer下生成一个 ethminer 可执行文件。

3. 连接矿池开始挖矿

在这里可以看到全球各大矿池的算力大小: https://etherchain.org/statistics/miners

选一个矿池，以https://ethermine.org/ 这个矿池为例，

export GPU_FORCE_64BIT_PTR=0
export GPU_MAX_HEAP_SIZE=100
export GPU_USE_SYNC_OBJECTS=1
export GPU_MAX_ALLOC_PERCENT=100
export GPU_SINGLE_ALLOC_PERCENT=100

如果你的显卡只有2G显存，需要设置以上环境变量，我的 GTX 1080 有8G内存，就不需要设置了。

./ethminer --farm-recheck 2000 -U -S us2.ethermine.org:4444 -FS us1.ethermine.org:4444 -O 0xba90FF2fA9016B3883799D150fB15DB5b4894f8b.eth01

--farm-recheck大致是重新检查某些东西的时间间隔，毫秒为单位，-U指的是用GPU，且用的是CUDA而不是OpenCL，-S指定stratum服务器，-FS指定的备份服务器(这里用us2做主服务器，us1作备份服务器的原因是，us1是在美国东部，us2在美国西部，而我的机器在西部，离us2近一些)，-O 指定自己的钱包地址(我是用的CoinBase的在线)，.后面是RigName, 随便填。

我搜到的第二大的矿池是 http://ethpool.org/，连接这个矿池的命令跟ethermine.org一模一样，只是地址变了，

./ethminer --farm-recheck 2000 -U -S us2.ethpool.org:3333 -FS us1.ethpool.org:3333 -O 0xba90FF2fA9016B3883799D150fB15DB5b4894f8b.eth01

4. Genoil 和 Claymore 的比较

Claymore 是另一款挖矿软件，经过我亲自测试，二者的速度基本一样，GTX 1080 都在在 20MH/s 左右，不过 Claymore可以在不影响以太币挖矿速度的情况下，还可以同时挖 Decred/Siacoin/Lbry/Pascal 之一，于是我现在用的是 Claymore这个挖矿程序，命令行如下，

举个例子，同时挖ETH和Decred，

./ethdcrminer64 -epool us2.ethermine.org:4444 -ewal 0xba90FF2fA9016B3883799D150fB15DB5b4894f8b.eth01 -epsw x -dpool pasc-us-west1.nanopool.org:15555 -dwal Dsab2dnwdTTpibkUr9VREdhLNytdnCv9nGv -dpsw x

或者同时挖ETH和SiaCoin,

./ethdcrminer64 -epool us2.ethermine.org:4444 -ewal 0xba90FF2fA9016B3883799D150fB15DB5b4894f8b.eth01 -epsw x -dpool stratum+tcp://siamining.com:7777 -dwal a808cdb0061d81418f6f146775dad4e3590eba207f285ad67b061a2ec01f6402960e02e36e7a.sia01 -dcoin sia

不过要注意，在 Ethereum-only 模式下，会收取 1% 的费用，在 Dual模式下，会收取 2%的费用，当然不会直接向你收费，它每个小时大概会有 36 到 72 秒为作者挖矿，这样间接达到了收费的目的。

不要试图同时运行ethminer和ethdcrminer64，这样的话它们的速度同时会降为原来的一半，总的速度还是跟单个一样。

Claymore 比较方便的是可以同时挖ETH和另一种币，大家可以同时看到我的ETH挖矿速度https://ethermine.org/miners/ba90FF2fA9016B3883799D150fB15DB5b4894f8b和SiaCoin挖矿速度 https://siamining.com/addresses/a808cdb0061d81418f6f146775dad4e3590eba207f285ad67b061a2ec01f6402960e02e36e7a

1. 安装显卡驱动和CUDA

1
2
3
4

apt-key adv --fetch-keys http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/7fa2af80.pub
echo "deb http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64 /" | sudo tee /etc/apt/sources.list.d/cuda.list
sudo apt-get update
sudo apt-get -y install cuda-drivers cuda

2. 编译安装 ccMiner

1
2
3
4

git clone --recursive git@github.com:tpruvot/ccminer.git
cd ccminer
git checkout --track origin/linux
sudo apt install automake libcurl4-openssl-dev

根据显卡修改 Makefile.am (https://github.com/tpruvot/ccminer/wiki/Compatibility), 比如GTX 1080 则用

nvcc_ARCH = -gencode=arch=compute_61,code=\"sm_61,compute_61\"

开始编译，

1
2
3

./autogen.sh
./configure
./build.sh

编译完成后会在当前目录生成一个 ccminer 可执行文件

3. 连接矿池开始挖矿

在这里可以看到全球各大矿池的算力大小: https://blockchain.info/pools

选一个矿池，注册好账号，以 AntPool为例，

./ccminer -o stratum+tcp://stratum.antpool.com:3333 -u soulmachine.btc01 -p soul123456

-o 是矿池服务器地址, -u的格式是 UserId.WorkerId, UserId必须是你注册网站时的用户名，WorkerId随便填，-p表示密码，随便填即可。还有个参数, --algo表示算法，可以不填，不填的时候默认为auto，表示自动选择哈希算法。

懒人版方法：

1
2
3
4

apt-key adv --fetch-keys http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/7fa2af80.pub
echo "deb http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64 /" | sudo tee /etc/apt/sources.list.d/cuda.list
sudo apt-get update
sudo apt-get -y install cuda-drivers cuda

这个方法会安装稳定版的驱动和CUDA，可能不那么新。

然后开始安装 cuDNN, 先下载 cuDNN 6.0,

wget http://developer.download.nvidia.com/compute/redist/cudnn/v6.0/cudnn-8.0-linux-x64-v6.0.tgz

然后解压到 /usr/local，

sudo tar -zxf cudnn-8.0-linux-x64-v6.0.tgz -P /usr/local

至此，驱动， CUDA 和 cuDNN都安装完了。

如果你想安装最新版的驱动和最新版的CUDA，那么接着读下去吧。

1. 安装 Nvidia 驱动

1
2
3
4
5
6

sudo add-apt-repository -qy ppa:graphics-drivers/ppa
sudo apt-get -qy update
sudo apt-get -qy install nvidia-370
sudo apt-get -qy install mesa-common-dev
sudo apt-get -qy install freeglut3-dev
sudo reboot

注意，一般比较新的主板，默认是UEFI BIOS，默认启用了 Secure Boot，否则开机后登陆不进去。老主板没有这个问题。

2. 安装 CUDA 8.x

去 CUDA 8.x 下载页面，一定要下载 runfile 安装方式的安装包，参考资料里的好几篇都是选择这种方式，貌似 deb包有坑？

1
2

chmod u+x ./cuda_8.0.27_linux.run
sudo ./cuda_8.0.27_linux.run --tmpdir=/tmp

执行后会有一系列提示让你确认，第一个就是问你是否安装显卡驱动，由于前一步已经安装了显卡驱动，所以这里就不需要了，况且 runfile 自带的驱动版本不是最新的。 因此 Install NVIDIA Accelerated Graphics Driver for Linux-x86_64 361.77? 这里选择 no。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

Do you accept the previously read EULA?
accept/decline/quit: accept
Install NVIDIA Accelerated Graphics Driver for Linux-x86_64 361.77?
(y)es/(n)o/(q)uit: n
Install the CUDA 8.0 Toolkit?
(y)es/(n)o/(q)uit: y
Enter Toolkit Location
 [ default is /usr/local/cuda-8.0 ]: 
Do you want to install a symbolic link at /usr/local/cuda?
(y)es/(n)o/(q)uit: y
Install the CUDA 8.0 Samples?
(y)es/(n)o/(q)uit: y
Enter CUDA Samples Location
 [ default is /home/programmer ]:

你以为你会成功安装吗？并不是，你一定会碰到一个错误，Installation Failed. Using unsupported Compiler. ，这是因为 Ubuntu 16.04 默认的 GCC 5.4 对于 CUDA 8.x来说过于新了，CUDA 安装脚本还不能识别新版本的 GCC。

看了一下安装日志，解决方案也很简单，加一个 --override 选项，

1

sudo ./cuda_8.0.27_linux.run --tmpdir=/tmp --override

这次可以成功了。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

===========
= Summary =
===========
Driver:   Not Selected
Toolkit:  Installed in /usr/local/cuda-8.0
Samples:  Installed in /home/programmer, but missing recommended libraries
Please make sure that
 -   PATH includes /usr/local/cuda-8.0/bin
 -   LD_LIBRARY_PATH includes /usr/local/cuda-8.0/lib64, or, add /usr/local/cuda-8.0/lib64 to /etc/ld.so.conf and run ldconfig as root
To uninstall the CUDA Toolkit, run the uninstall script in /usr/local/cuda-8.0/bin
Please see CUDA_Installation_Guide_Linux.pdf in /usr/local/cuda-8.0/doc/pdf for detailed information on setting up CUDA.
***WARNING: Incomplete installation! This installation did not install the CUDA Driver. A driver of version at least 361.00 is required for CUDA 8.0 functionality to work.
To install the driver using this installer, run the following command, replacing <CudaInstaller> with the name of this run file:
    sudo <CudaInstaller>.run -silent -driver
Logfile is /tmp/cuda_install_6794.log
Signal caught, cleaning up

把以下两行加入到 .bashrc，

1
2

export PATH=/usr/local/cuda-8.0/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-8.0/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

安装补丁

1
2

chmod u+x ./cuda_8.0.27.1_linux.run
sudo ./cuda_8.0.27.1_linux.run

测试是否安装成功

最后再来测试一下CUDA，运行：

1

nvidia-smi

结果如下所示：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

+-----------------------------------------------------------------------------+
| NVIDIA-SMI 370.23                 Driver Version: 370.23                    |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  GeForce GTX 1080    Off  | 0000:05:00.0      On |                  N/A |
| 27%   29C    P8     9W / 180W |    515MiB /  8110MiB |      4%      Default |
+-------------------------------+----------------------+----------------------+
+-----------------------------------------------------------------------------+
| Processes:                                                       GPU Memory |
|  GPU       PID  Type  Process name                               Usage      |
|=============================================================================|
|    0      4761    G   /usr/lib/xorg/Xorg                             259MiB |
|    0      5224    G   compiz                                         253MiB |
+-----------------------------------------------------------------------------+

再来试几个CUDA例子：

1
2

cd ~/NVIDIA_CUDA-8.0_Samples/1_Utilities/deviceQuery
make

执行 ./deviceQuery，得到：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40

CUDA Device Query (Runtime API) version (CUDART static linking)
Detected 1 CUDA Capable device(s)
Device 0: "GeForce GTX 1080"
  CUDA Driver Version / Runtime Version          8.0 / 8.0
  CUDA Capability Major/Minor version number:    6.1
  Total amount of global memory:                 8110 MBytes (8504279040 bytes)
  (20) Multiprocessors, (128) CUDA Cores/MP:     2560 CUDA Cores
  GPU Max Clock rate:                            1734 MHz (1.73 GHz)
  Memory Clock rate:                             5005 Mhz
  Memory Bus Width:                              256-bit
  L2 Cache Size:                                 2097152 bytes
  Maximum Texture Dimension Size (x,y,z)         1D=(131072), 2D=(131072, 65536), 3D=(16384, 16384, 16384)
  Maximum Layered 1D Texture Size, (num) layers  1D=(32768), 2048 layers
  Maximum Layered 2D Texture Size, (num) layers  2D=(32768, 32768), 2048 layers
  Total amount of constant memory:               65536 bytes
  Total amount of shared memory per block:       49152 bytes
  Total number of registers available per block: 65536
  Warp size:                                     32
  Maximum number of threads per multiprocessor:  2048
  Maximum number of threads per block:           1024
  Max dimension size of a thread block (x,y,z): (1024, 1024, 64)
  Max dimension size of a grid size    (x,y,z): (2147483647, 65535, 65535)
  Maximum memory pitch:                          2147483647 bytes
  Texture alignment:                             512 bytes
  Concurrent copy and kernel execution:          Yes with 2 copy engine(s)
  Run time limit on kernels:                     Yes
  Integrated GPU sharing Host Memory:            No
  Support host page-locked memory mapping:       Yes
  Alignment requirement for Surfaces:            Yes
  Device has ECC support:                        Disabled
  Device supports Unified Addressing (UVA):      Yes
  Device PCI Domain ID / Bus ID / location ID:   0 / 5 / 0
  Compute Mode:
     < Default (multiple host threads can use ::cudaSetDevice() with device simultaneously) >
deviceQuery, CUDA Driver = CUDART, CUDA Driver Version = 8.0, CUDA Runtime Version = 8.0, NumDevs = 1, Device0 = GeForce GTX 1080
Result = PASS

再测试试一下nobody：

1
2

cd ~/NVIDIA_CUDA-8.0_Samples/5_Simulations/nbody/
make

执行：

1

./nbody -benchmark -numbodies=256000 -device=0

得到：

1
2
3
4
5
6
7
8
9
10

> Windowed mode
> Simulation data stored in video memory
> Single precision floating point simulation
> 1 Devices used for simulation
gpuDeviceInit() CUDA Device [0]: "GeForce GTX 1080
> Compute 6.1 CUDA device: [GeForce GTX 1080]
number of bodies = 256000
256000 bodies, total time for 10 iterations: 2364.286 ms
= 277.192 billion interactions per second
= 5543.830 single-precision GFLOP/s at 20 flops per interaction

至此，说明 CUDA 8.x 安装成功了。

参考资料

• 深度学习主机环境配置: Ubuntu16.04+Nvidia GTX 1080+CUDA8.0
• Nvidia GTX 1080 on Ubuntu 16.04 for Deep Learning - Changjiang
• Build Personal Deep Learning Rig: GTX 1080 + Ubuntu 16.04 + CUDA 8.0RC + CuDnn 7 + Tensorflow/Mxnet/Caffe/Darknet - by Guanghan Ning
• GeForce GTX 1080, CUDA 8.0, Ubuntu 16.04, Caffe

前提条件

1. 主板BIOS是 UEFI 模式

   首先确认下你的主板的BIOS是UEFI模式，例如 Asus X99-E WS/USB 3.1 主板的BIOS默认就是UEFI模式。

2. 两个U盘，一个是可启动的Ubuntu 16.04.1 安装盘，一个是Windows 10 1607 x64 安装盘

   制作可启动安装盘很简单，下载 cn_windows_10_multiple_editions_version_1511_updated_apr_2016_x64_dvd_8712460.iso 和 ubuntu-16.04.1-desktop-amd64.iso ，找一台 Windows 电脑，安装 UltraISO这个小软件，启动软件，点击 打开，打开操作系统的ISO文件，点击菜单启动->写入硬盘映像，即可开始刻录U盘。

   如果你只有一个U盘，有没问题，先刻录Windows，装完了Windows后，格式化U盘，再刻录一个Ubuntu 进去。

3. 关闭主板的 Fast Startup

   进入 UEFI BIOS 界面，点击 Boot 菜单，找打 Fast Boot, 改为 Disabled

4. 关闭主板的 SRT（Intel Smart Response Technology)

   进入 UEFI BIOS 界面，点击 Advanced菜单，找到 Intel Rapid Storage Technology, 点击进去，如果你没有RAID模式的磁盘，这个RST一般是灰色的，没有启用。

5. 禁用主板的 Secure Boot

   如果你想要装Windows和 Linux 双操作系统，那么必须要禁用主板的 Secure Boot ，因为主板内置的公钥只有一个，就是微软的，因为微软影响力大。更具体信息请参考 反Secure Boot垄断：兼谈如何在Windows 8电脑上安装Linux - 阮一峰

   Ubuntu 已经买了这个证书，所以微软的这个公钥，也能允许Ubuntu安装在主板上。看到这里，你会问，那岂不是不用禁用 Secure Boot 了？

   不尽然，在Ubuntu 下安装 GTX 1080 的 Nvidia 驱动的时候，会警告 UEFI Secure Boot is not compatible with the use of third-party drivers. 如果没有禁用Secure Boot, 安装了显卡驱动后，开机，输入密码时，会进不去系统，屏幕会闪一下，有回到了登录界面，死循环 。。。

   具体步骤请参考 How to Disable or Enable Secure Boot on Your Computer via ASUS UEFI BIOS Utility ：

   • 进入 UEFI BIOS界面，选择 Boot->Secure Boot-> Key Management -> Save Secure Boot Keys，插入U盘，备份key到这个U盘，会有四个文件, PK, KEK, DB 和 DBX 写入到U盘。
   • 删除 Platform Key. 选择 Delete PK，点击OK确认删除。删除后回到上一级菜单，可以看到 Secure Boot 已经变成 disabled 了。

6. 顺序上，最好是先安装 Windows 再安装 Ubuntu，本文的方法1和方法2都是这个顺序

7. 安装了Wiondows后，必须要关闭Windows的 Fast Startup。

   进入控制面板->电源，找到 Fast Startup，禁用掉。

Windows 和 Ubuntu 安装在同一块硬盘上

开机，按住 DEL 键进入BIOS，点击Boot Menu(F8)菜单，选择从U盘启动，且注意要选择UEFI模式的U盘

开始安装Windows, 安装完后，重启，进入Windows 后，关闭Windows的 Fast Startup，即进入控制面板->电源，找到 Fast Startup，禁用掉。

把 Ubuntu U盘启动盘插上，开机，按DEL键进入BIOS，选择从这个U盘启动，要选择UEFI模式的U盘，开始安装，记得选择 Install Ubuntu alongside Windows Boot Manager

Windows 和 Ubuntu 分别安装不同的硬盘上

先按照方法一中的步骤，安装好Windows，然后关机，把这块硬盘拆下来，当做它不存在。

开始安装Ubuntu，安装到另一块硬盘上。选择 Erase disk and install Ubuntu，接下来选择安装到 SM951 NVMe SSD 这块磁盘上。

把 Windows 那块硬盘在接入主板。

这样，两块硬盘就分别安装了独立的操作系统，具体进入哪个，由UEFI BIOS里的启动优先级来决定。你想默认启动Windows，那就把Windows那块硬盘拖动到第一的位置，如果你想默认启动Ubuntu，那就把Ubuntu那块硬盘拖动到第一的位置。

【可选项】如果你不想通过UEFI BIOS来切换操作系统，你还可以把Windows加入 Ubuntu的 grub 菜单，开机进入Ubuntu后，执行

sudo update-grub

这个命令会自动扫描其他硬盘上的操作系统，并加入grub 开机启动菜单。

自动mount硬盘

如果你有多块硬盘，需要在 Ubuntu 启动后自动mount, 那么可以在 /etc/fstab 里添加配置，一行对应一块硬盘，例如

UUID=edf094f8-42aa-8501-ef91245ff587  /data  ext4  errors=remount-ro  0  2

上面这行配置添加了一块硬盘，mount 到 /data，文件系统为 ext4。

备份系统

在Windows上我们用Ghost来备份整个系统，那么在Ubuntu上，也有类似的工具，Clonezilla，下载 ISO文件后，刻录到U盘，然后用U盘启动台式机，将系统盘整个备份，下次就不用重新装机了，直接从镜像文件恢复一下，就得到一个崭新的系统啦。

参考资料

• UEFI - Ubuntu
• 在Win8基础上加装Ubuntu，得先搞清楚Win8是以何种方式安装的
• How to dual-boot Windows 10 and Ubuntu 15.10 on two hard drives

硬件配置单

结论

懒人不想看过程的话，可以先看结论。

以下是我的配置单：

总计：$2661.13

以上价格已经包含了税。

这个配置单基本齐全了，唯一还没有到位的是GPU显卡了，目前只有一块 GTX 1080。我打算等一年后 GTX 1080 有二手货了，再收3块二手的，这样就全了。

接下来一项一项详细说明我为什么这么选择，展示我的决策过程。

机箱

直接选跟 Nvidia DevBox 同款的机箱，即 Corsair Carbide Air 540

主板

硬性要求：

1. X99平台
2. 四个 PCI-E Gen3 x16 接口

众所周知单机多卡进行训练时，总线带宽是瓶颈，所以主板有越多的PCI-e 3.0 接口越好，可以尽可能把显卡的性能发挥出来。计划上四块 GTX 1080，那么至少需要四路 PCI-e 3.0 的 x16 接口。

Nvidia DevBox 用的是 Asus X99-E WS 工作站主板，那我也在X99 主板里选了很久，

这三块板子都有 4路 PCI-e 3.0 x16 接口，

• Asus X99-E WS
• Asus X99-E WS/USB 3.1
• 技嘉 GA-X99P-SLI

当时我还请教了一下 @硬哥 ，问上四块 GTX 1080 显卡的话，用哪个主板好，

华硕 X99-E WS/USB 3.1 是 Asus X99-E WS 的新版，本着买新不买旧的原则，那就买 Asus X99-E WS/USB 3.1 吧。

CPU

众所周知单机多卡进行训练时，总线带宽是瓶颈，所以 CPU 的 PCI-e lane 越多越好，一般消费级的CPU，PCI-e总线根数是 16, 28 或 40，最大就是40，再大就需要上服务器CPU或者双路CPU了。选40， 这个条件下，有两款 CPU 入围，I7-5930K和 I7-5960X, 5860X太贵了，一般机器学习训练中CPU不是瓶颈，所以选 5930K就可以了，这也是 Nvidia 官方推出的 DevBox 工作站所使用的CPU。

在知乎上看到不少人用 I7-5820K，这个CPU虽然很不错，可是只有 28条 PCI-e总线，所以还是加几百块钱上 5930k比较好。

CPU水冷头

其实普通的风扇就可以了，不过水冷更加安静些，所以我选择了一个便宜的 Corsair H60 Cooler ，够用了。

内存

DDR4 64G

再大就没必要了，李沐的这篇博客GPU集群折腾手记 末尾有说到过，单机4卡的机器，64G内存绰绰有余了。

况且消费级的I7 CPU，最大支持内存就是 64G。

显卡

这个最好选，GTX 1080

最新出来的 GTX 1080 吊打 Maxwell 架构的 Titan , 价钱又便宜很多，所以显卡最好选。

电源

一般 Nvidia 的旗舰显卡，功耗都是压着 300W的线的，四卡就 1200W了，加上主板，CPU等耗电，选一个 1600W的电源吧。

Nvidia DevBox 用的是 EVGA 1600W 80+ Gold 120-G2-1600-X1 ，那我也用它吧。

SSD

起码需要一块SSD作为系统盘。

当前 SATA III 接口的SSD最普遍也最便宜，不过由于 Asus X99-E WS/USB 3.1 恰好有一个 M.2 接口，我决定买一个 M.2 NVMe 的SSD，不用就浪费了主板的这个接口了。在 eBay 上买了一块二手的 Samsung SM951 256GB M.2 NVMe MZVPV256HDGL 。

机械硬盘

随便选，我选择最便宜的绿盘。

一些波折

等了一个月终于凑齐了所有配件后，兴奋的开始装机，装完了后发现死活点不亮，http://weibo.com/1663402687/E1vrO4VFn

尼玛，浪费了我2天时间在各种诊断，甚至一度怀疑自己的装机能力一直到怀疑人生。。。

只好把主板和CPU退货了，又在 eBay上竞拍了一个二手 I7-5930K，这是 eBay 上的 Asus X99-E WS/USB 3.1 竟然没有二手货了，Amazon 也没有二手货，只有一个 refurbishment , 不敢买，只要在 Amazon 买了个全新的主板。

等了一周多，今天终于齐了，可以开机进入操作系统了。不过有个小问题，按机箱上的开机键，没有反应，必须打开机箱按主板上的那个开机键。当时我内心是崩溃的，不可能每次开机需要打开机箱吧，那多烦啊。于是开始诊断，先用一根金属棒让 POWSER_SW 的两根针脚短路，可以开机，说明主板的POWSER_SW的两根针脚是好的，那么唯一的原因，就是机箱上的开机键不灵了，我打开机箱，把开机键后面焊接的细线按了几下，再开机，机箱上的开机键起作用了。可能是接触不良吧，我也没有深究了，盖上了机箱盖。

一些配置和 tunning

打开了TPU，EPU,DR.POWER , EZ_XMP四个开关，TPU推到了中间的 TPU I， 没敢到最右边的 TPU II

GTX 1080 要插到 PCIE 1,3,5,7的位置上，这几个插槽是X16模式的，其他是x8模式的

后续：

安装 Windows 10 和 Ubuntu 16.04 双系统
深度学习开发环境配置：Ubuntu1 6.04+Nvidia GTX 1080+CUDA 8.0

参考资料

1. Nvidia DevBox
2. 32-TFLOP Deep Learning GPU Box - hackaday
3. 如何配置一台适用于深度学习的工作站？- 知乎
4. Exxact Deep Learning Workstation
5. GPU集群折腾手记 - 李沐

Numpy, SciPy 的官网安装文档，安装的是基于Python 2.7的，SciPy-Learn 官网的安装文档，也是Python 2.7的，如果想基于高大上的Python 3，该怎么安装呢？经过一堆的坑之后，我摸索出了方法。

##1. 安装Python 3
首先我们要安装Python 3, 不过，千万别因为有了Python 3, 就卸载系统自带的Python 2.7，很多软件依赖它，所以不能卸载

1

$ sudo apt-get install python3

设置Python3为默认Python

1
2
3

$ vi ~/.bash_aliases
$ alias python=python3
  wq

关闭当前Shell，重新开一个新Shell，输入python就发现进入Python 3.4 的交互环境了。

##2. 安装 NumPy SciPy SymPy 等软件
参考 http://www.scipy.org/install.html , 只不过改成了 python3

1

sudo apt-get install python3-numpy python3-scipy python3-matplotlib ipython3 ipython3-notebook python3-pandas python-sympy python3-nose

##3. 安装 Scikit-Learn
参考 http://scikit-learn.org/stable/install.html, 不过要修改成python3

1
2
3
4
5
6
7
8
9
10
11
12
13

sudo apt-get install build-essential python3-dev python3-setuptools python3-numpy python3-scipy libatlas-dev libatlas3gf-base
sudo update-alternatives --set libblas.so.3 /usr/lib/atlas-base/atlas/libblas.so.3
sudo update-alternatives --set liblapack.so.3 /usr/lib/atlas-base/atlas/liblapack.so.3
sudo apt-get install gfortran
sudo apt-get install git, 并配置好git
mkdir -p ~/local/src
cd ~/local/src
git clone git@github.com:scikit-learn/scikit-learn.git
cd scikit-learn
python setup.py install --user #开始编译
make PYTHON=python3 NOSETESTS=nosetests3 #或者使用make编译
nosetests3 -v sklearn #单元测试，可以在任何位置运行，不一定要在源码目录里

这里主要的坑是make, 刚开始我直接用 make, 失败，因为它默认是去找Python 2.7的 python.h 来编译，而我没有安装 python-dev, 只是安装了python3-dev，所以会编译失败。

我给 Scikit-Learn 的邮件组发了封邮件，不久得到了回复，要在make 后面加上 PYTHON=python3，这次编译成功了，不过到单元测试时说找不到nosetests命令，当然找不到了，因为前面安装的是python3-nose而不是python-nose，于是我猜测了一把，用 make PYTHON=python3 NOSETESTS=nosetests3试试, 果然可以！

本文主要参考了这篇英文博客，Working OS X 10.9 Mavericks VMware Image For Windows OS and Intel Processor

前提条件：确保你的电脑支持VT-x技术，并在BIOS里启用它。

##1. 下载别人做好的镜像
由于版权原因，这篇英文博客的作者不再提供下载地址了，不过google一下 “OS X Mavericks 10.9 Retail VMware Image”，可以在海盗湾找到种子，这里。用迅雷或BT客户端下载。还有一种用更快速的下载方法，用百度网盘的离线下载，把magnet链接复制粘贴到百度网盘，等百度网盘下载好了后，再用百度管家客户端下载下来。

这个文件夹里，只有OS X Mavericks 10.9 Retail VMware Image.7z是有用的额，其他小工具可以分别去下载最新的版本。

这个镜像就是别人制作好的“懒人版”，Google 搜索”OS X Mavericks VMware 懒人版”或”OS X Mavericks VMware 整合驱动版”，还可以搜到很多。

##2. 给 VMware Workstation 打补丁
Windows上的VMware Workstation在安装操作系统时不支持 Mac OS X，但 VMware Fusin(VMware Workstation在Mac上的等价物，叫做 VMware Fusion)是支持了，这两个软件基本是统一软件在不同操作系统上的版本，按道理VMware Workstation也支持Mac OS X，事实上的确如此，只需要给VMware Workstation打一个补丁，就可以支持Mac OS X了。

补丁名字叫做VMware Unlocker for OS X，在这里下载。

下载完后，解压，浏览到windows，以管理员权限执行 install.cmd，然后启动VMware Workstation，就可以看到变化了。

打补丁之前，

打补丁之后。

##3. 启动虚拟机
解压 OS X Mavericks 10.9 Retail VMware Image.7z，双击.vmx文件，就可以打开虚拟机了。

在启动虚拟机之前，你可以修改一下虚拟机的设置，例如提高内存到4GB，设置CPU核数为2，视你的电脑硬件配置而定。

启动虚拟机后，要做一些设置，例如键盘，icloud账户，设置密码等等。

##4. 安装VMware Tools
VMware Tools for OS X最新版来自 http://softwareupdate.vmware.com/cds/vmw-desktop/fusion/ ，当前最新版是 6.0.3。下载com.vmware.fusion.tools.darwin.zip.tar ，解压出里面的 darwin.iso ，然后 mount 到 Mac OS X 虚拟机，一定要勾选”已连接”，然后 Mac OS X 虚拟机会自动弹出安装对话框。

##5. 安装显卡驱动
点击全屏菜单，发现Mac OS X 虚拟机不能这是由于没有显卡驱动。去vmsvga2官网 下载VMsvga2_v1.2.5_OS_10.9.pkg(显卡驱动)和guestd_patches.pkg(自动调整分辨率补丁)，然后安装，重启，再试试全屏，发现可以了。

##6. 更新软件，关机并压缩打包
点击左上角的苹果图标，选择”Software update”，更新所有，就会从 10.9 更新到 10.9.2。然后关机，用7z将整个虚拟机文件夹压缩成一个压缩包。

可以将这个压缩包共享给别人，也可以作为一个备份，一旦虚拟机装新软件或其它操作弄坏了，可以从这个压缩包解压，以这个镜像为起点，重新开始，而不用从零重新开始。

##参考资料

1. Working OS X 10.9 Mavericks VMware Image For Windows OS and Intel Processor
2. 超详细VMware Workstation 10安装OS X Mavericks

由于我的CentOS服务器上没有Nvidia的显卡，不过 caffe 是可以在CPU模式下进行train和predict的，因此我尝试了在没有GPU的情况下把caffe跑起来。

主要参考官网的文档，Installation。

安装 Caffe 前需要安装以下库：

Prerequisites

• CUDA (5.0 or 5.5)
• Boost
• MKL (but see the boost-eigen branch for a boost/Eigen3 port)
• OpenCV
• glog, gflags, protobuf, leveldb, snappy, hdf5
• For the Python wrapper: python, numpy (>= 1.7 preferred), and boost_python
• For the Matlab wrapper: Matlab with mex

##1. 安装CUDA

wget http://developer.download.nvidia.com/compute/cuda/repos/rhel6/x86_64/cuda-repo-rhel6-5.5-0.x86_64.rpm
sudo rpm -Uvh libgcc-4.4.7-4.el6.x86_64.rpm
yum search cuda
sudo yum install cuda

或者

wget http://developer.download.nvidia.com/compute/cuda/5_5/rel/installers/cuda_5.5.22_linux_64.run
sudo ./cuda_5.5.22_linux_64.run

##2. 安装Boost

sudo yum install boost-devel

##3. 安装MKL
MKL是Intel的商业软件，性能很高，也卖的很贵。还好可以申请非商业版，去这里 https://registrationcenter.intel.com/RegCenter/NComForm.aspx?ProductID=1461&pass=yes 申请，申请成功之后你会得到一个序列号以及下载地址，下载完并解压， 执行sudo ./install.sh ， 之后按提示安装就好了，这个安装特别简单。

##4. 安装OpenCV

sudo yum install opencv-devel

##5. 安装其他库

wget https://google-glog.googlecode.com/files/glog-0.3.3.tar.gz
tar zxf glog-0.3.3.tar.gz
cd glog-0.3.3
./configure
make
sudo make install

sudo yum install gflags-devel protobuf-devel leveldb-devel snappy-devel hdf5-devel

##6. 配置OpenCV环境
Caffe作者默认你已经配置好了OpenCV环境，文档里没有说这一步。好在有人已经写好了配置OpenCV的脚本，https://github.com/jayrambhia/Install-OpenCV ，直接拿来用。

git clone https://github.com/jayrambhia/Install-OpenCV
cd Install-OpenCV/RedHat
sudo ./opencv_latest.sh

如果脚本运行失败，则详细阅读RetHat/opencv_install.sh的代码，然后手工敲入命令进行安装。

mkdir OpenCV
cd OpenCV
wget -O opencv-2.4.7.tar.gz http://sourceforge.net/projects/opencvlibrary/files/opencv-unix/2.4.7/opencv-2.4.7.tar.gz/download
tar -zxf opencv-2.4.7.tar.gz
cd opencv-2.4.7
sed  -i '/string(MD5/d' cmake/cl2cpp.cmake
mkdir build
cd build
cmake -D CMAKE_BUILD_TYPE=RELEASE -D CMAKE_INSTALL_PREFIX=/usr/local ..
make -j 4
sudo make install
sudo sh -c 'echo "/usr/local/lib" > /etc/ld.so.conf.d/opencv.conf'
sudo ldconfig

##7. 编译

cp Makefile.config.example Makefile.config
make all

##8. 运行MNIST例子
主要参考官网的 Training MNIST with Caffe

###8.1 下载数据集

cd $CAFFE_ROOT/data/mnist
./get_mnist.sh
cd $CAFFE_ROOT/examples/lenet
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda/lib64
./create_mnist.sh

运行完上述命令后，应该会得到两个数据集，mnist-train-leveldb/, 和 mnist-test-leveldb/.

最终的model，

###8.2 切换到CPU模式
由于服务器没有安装显卡，只能使用CPU训练。切换到CPU模式非常简单，只需要在lenet_solver.prototxt中修改一行：

# solver mode: 0 for CPU and 1 for GP
solver_mode: 0

###8.3 开始训练

./train_lenet.sh

经过一段时间运行，训练完成！最终的model，会存为一个二进制的protobuf文件，lenet_iter_10000.

##参考资料

1. CNN之Caffe配置

注意， CUDA 5.5 不支持 Visual Studio 2013，参考 CUDA 5.5 release notes

Nutch Plugin的所有资料，都在官网这里, PluginCentral

##前提
在Eclipse里运行Nutch

Extension 和 Extension-point的关系

Extension point类似与Java语言里的接口(interface), extension 则是具体的实现(implementation)。

About Plugins里有一句话，Each extension-point defines an interface that must be implemented by the extension.

##Nutch里的各种概念
Extension point, extension, plugin, 这些概念是什么意思？见 Technical Concepts Behind the Nutch Plugin System

##Nutch 1.7 有哪些 Extension-point

ExtensionPoint 这个东西，本身也是一个插件，可以看看 src/plugin/nutch-extensionpoints/plugin.xml，里面定义了所有的扩展点，跟上图基本一致。

AboutPlugins这里列出来的是 Nuch 1.4的扩展点，有点过时了。

##一个Nutch的组成文件
build.xml, plugins.xml 等等

##Nutch 插件例子

1. WritingPluginExample
2. WritingPluginExample-1.2，针对Nutch 1.2的，有点老，但是值得一看
3. Writing a plugin to add dates by Ryan Pfister

看来这3个例子，你应该就知道怎么开发插件了。

##Nutch 的缺点
在抓取的过程中，真正的难度在于, ip limit 和 user limit，可惜 Nutch 对这两个问题都没有解决方案。

1. Nutch 的 HttpPostAuthentication 现在还没有开发完，导致无法抓取需要登录的网站，例如新浪微波，豆瓣等UGC网站，都是需要登录的。没有这个HttpPostAuthentication，Nutch其实只能抓取不需要登录的网页，适用范围大打折扣，现在是web 2.0时代，真正优质的内容，几乎都是需要登录的。
2. 多个代理的管理。Nutch 没有提供多个代理的管理功能，只能在nutch-site.xml里配置一个代理。比如我在网上抓取了几百个免费的http代理，怎么让Nutch的各个线程均匀的使用这些代理，平能自动判断代理的速度，优先选择速度高的代理呢？

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

原因是apache官网提供的二进制包，里面的native库，是32位的，坑跌啊，现在服务器谁还有32位的啊。

$ file $HADOOP_PREFIX/lib/native/libhadoop.so.1.0.0
libhadoop.so.1.0.0: ELF 32-bit LSB shared object, Intel 80386, version 1 (SYSV), dynamically linked, BuildID[sha1]=0x9eb1d49b05f67d38454e42b216e053a27ae8bac9, not stripped

我们需要下载Hadoop 2.2.0源码，在 64 位Linux下重新编译，然后把32位的native库用64位的native库替换。

##1. 下载Hadoop 2.2.0 源码包，并解压

$ wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.2.0/hadoop-2.2.0-src.tar.gz
$ tar zxf hadoop-2.2.0-src.tar.gz

##2. 安装下面的软件

$ sudo yum install lzo-devel  zlib-devel  gcc autoconf automake libtool   ncurses-devel openssl-deve

##3. 安装Maven
不要使用最新的Maven 3.1.1。Hadoop 2.2.0的源码与Maven3.x存在兼容性问题，所以会出现

java.lang.NoClassDefFoundError: org/sonatype/aether/graph/DependencyFilter

之类的错误。

安装 Maven 3.0.5

$ wget http://mirror.esocc.com/apache/maven/maven-3/3.0.5/binaries/apache-maven-3.0.5-bin.tar.gz
$ sudo tar zxf apache-maven-3.0.5-bin.tar.gz -C /opt
$ sudo vim /etc/profile
export MAVEN_HOME=/opt/apache-maven-3.0.5
export PATH=$PATH:$MAVEN_HOME/bin

注销并重新登录，让环境变量生效。

##4. 安装Ant

$ wget http://apache.dataguru.cn//ant/binaries/apache-ant-1.9.3-bin.tar.gz
$ sudo tar zxf apache-ant-1.9.3-bin.tar.gz -C /opt
$ sudo vim /etc/profile
export ANT_HOME=/opt/apache-ant-1.9.3
export PATH=$PATH:$ANT_HOME/bin

##5. 安装Findbugs

$ wget http://prdownloads.sourceforge.net/findbugs/findbugs-2.0.3.tar.gz?download
$ sudo tar zxf findbugs-2.0.3.tar.gz -C /opt
$ sudo vim /etc/profile
export FINDBUGS_HOME=/opt/findbugs-2.0.3
export PATH=$PATH:$FINDBUGS_HOME/bin

##6. 安装protobuf
编译Hadoop 2.2.0，需要protobuf的编译器protoc。一定需要protobuf 2.5.0以上，yum里的是2.3，太老了。因此下载源码，编译安装。

$ wget https://protobuf.googlecode.com/files/protobuf-2.5.0.tar.gz
$ tar zxf protobuf-2.5.0.tar.gz
$ cd protobuf-2.5.0
$ ./configure
$ make
$ sudo make install

##7. 给Hadoop源码打一个patch
最新的Hadoop 2.2.0 的Source Code 压缩包解压出来的code有个bug 需要patch后才能编译。否则编译hadoop-auth 会提示下面错误：

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:2.5.1:testCompile (default-testCompile) on project hadoop-auth: Compilation failure: Compilation failure:
[ERROR] /home/chuan/trunk/hadoop-common-project/hadoop-auth/src/test/java/org/apache/hadoop/security/authentication/client/AuthenticatorTestCase.java:[84,13] cannot access org.mortbay.component.AbstractLifeCycle
[ERROR] class file for org.mortbay.component.AbstractLifeCycle not found

Patch: https://issues.apache.org/jira/browse/HADOOP-10110

##8. 编译 Hadoop

cd hadoop-2.2.0-src
mvn package -DskipTests -Pdist,native -Dtar

##9. 替换掉32位的native库
用 hadoop-2.2.0-src/hadoop-dist/target/hadoop-2.2.0/lib/native 替换掉 hadoop-2.2.0/lib/native。

rm -rf ~/local/opt/hadoop-2.2.0/lib/native
cp ./hadoop-dist/target/hadoop-2.2.0/lib/native ~/local/opt/hadoop-2.2.0/lib/

然后重启Hadoop集群，会看到控制台下不再有警告信息了。

##10 解决Ubuntu下启动失败的问题
在Ubuntu上，那就不是一点WARN了，而是启动不起来，会出错，原因在于，在./sbin/start-dfs.sh第55行，

NAMENODES=$($HADOOP_PREFIX/bin/hdfs getconf -namenodes)

在shell里单独运行这样命令，

./bin/hdfs getconf -namenodes

OpenJDK 64-Bit Server VM warning: You have loaded library /home/soulmachine/local/opt/hadoop-2.2.0/lib/native/libhadoop.so which might have disabled stack guard. The VM will try to fix the stack guard now.
It's highly recommended that you fix the library with 'execstack -c <libfile>', or link it with '-z noexecstack'.
14/02/14 13:14:50 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
localhost

最后一行的localhost，才是有效的namenode，但是由于前面有一大堆warning，脚本把这一大堆字符串，按空格隔开，每个单词都看作是namenode，接下来就错的稀里哗啦。

根本原因，还是因为32位native库。

把自带的32位native目录删除，用编译好的64位native目录拷贝过去，再运行

./bin/hdfs getconf -namenodes
localhost

这下就对了！

##参考资料

1. YARN加载本地库抛出Unable to load native-hadoop library解决办法
2. CentOS编译Hadoop 2.2.0 Pass 总结

##（可选）创建新用户，并配置好SSH无密码登录
一般我倾向于把需要启动daemon进程，对外提供服务的程序，即服务器类的程序，安装在单独的用户下面。这样可以做到隔离，运维方面，安全性也提高了。

创建一个新的group,

$ sudo groupadd hbase

创建一个新的用户，并加入group,

$ sudo useradd -g hbase hbase

给新用户设置密码，

$ sudo passwd hbase

在每台机器上创建hbase新用户，并配置好SSH无密码，参考我的另一篇博客，SSH无密码登录的配置

##1. 单机模式(Standalone mode)

###1.1 下载，解压

$ wget wget http://mirror.esocc.com/apache/hbase/hbase-0.96.1.1/hbase-0.96.1.1-hadoop2-bin.tar.gz
$ tar zxf hbase-0.96.1.1-hadoop2-bin.tar.gz -C ~/local/opt

###1.2 hbase-env.sh
在这个文件中要指明JDK 安装在了哪里

$ echo $JAVA_HOME
/usr/lib/jvm/java
$ vim conf/hbase-env.sh

取消JAVA_HOME那一行的注释，设置正确的JDK位置

export JAVA_HOME=/usr/lib/jvm/java

###1.3 修改 conf/hbase-site.xml
内容如下

<configuration>
  <property>
    <name>hbase.rootdir</name>
    <value>/home/hbase/local/var/hbase</value>
  </property>
  <property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/home/hbase/local/var/zookeeper</value>
  </property>
</configuration>

hbase.rootdir目录是用来存放HBase的相关信息的，默认值是/tmp/hbase-${user.name}/hbase； hbase.zookeeper.property.dataDir目录是用来存放zookeeper（HBase内置了zookeeper）的相关信息的，默认值是/tmp/hbase-${user.name}/zookeeper。

###1.4 启动

$ ./bin/start-hbase.sh
starting Master, logging to logs/hbase-user-master-example.org.out

###1.5 试用一下HBase shell
$ ./bin/hbase shell
2014-02-09 23:56:28,637 INFO [main] Configuration.deprecation: hadoop.native.lib is deprecated. Instead, use io.native.lib.available
HBase Shell; enter ‘help‘ for list of supported commands.
Type “exit“ to leave the HBase Shell
Version 0.96.1.1-hadoop2, rUnknown, Tue Dec 17 12:22:12 PST 2013

hbase(main):001:0>

创建一张名字为test的表，只有一个列，名为cf。为了验证创建是否成功，用list命令查看所有的table，并用put命令插入一些值。

hbase(main):003:0> create 'test', 'cf'
0 row(s) in 1.2200 seconds
hbase(main):003:0> list 'test'
..
1 row(s) in 0.0550 seconds
hbase(main):004:0> put 'test', 'row1', 'cf:a', 'value1'
0 row(s) in 0.0560 seconds
hbase(main):005:0> put 'test', 'row2', 'cf:b', 'value2'
0 row(s) in 0.0370 seconds
hbase(main):006:0> put 'test', 'row3', 'cf:c', 'value3'
0 row(s) in 0.0450 seconds

用scan命令扫描table，验证一下刚才的插入是否成功。

hbase(main):007:0> scan 'test'
ROW        COLUMN+CELL
row1       column=cf:a, timestamp=1288380727188, value=value1
row2       column=cf:b, timestamp=1288380738440, value=value2
row3       column=cf:c, timestamp=1288380747365, value=value3
3 row(s) in 0.0590 seconds

现在，disable并drop掉你的表，这会把上面的所有操作清零。

hbase(main):012:0> disable 'test'
0 row(s) in 1.0930 seconds
hbase(main):013:0> drop 'test'
0 row(s) in 0.0770 seconds 

退出shell，

hbase(main):014:0> exit

###1.6 停止

$ ./bin/stop-hbase.sh
stopping hbase...............

##2 伪分布式模式(Pseudo-distributed mode)

###前提

HBase集群需要一个正在运行的zookeeper集群，要么用自带的，要么用外部的。

用自带的很方便，不需要任何其他操作。

如果用外部的，要先安装并启动一个ZK集群，参考我的这篇博客，在CentOS上安装ZooKeeper集群。并在 conf/hbase-env.sh 里，设置HBASE_MANAGES_ZK=false。这个值默认为true，HBase自带了一个zk，启动HBase的时候也会先启动zk，如果把这个值设置为false，那么HBase就不会自己管理zk集群了。

一般用外部的zk。因为一般情况下，公司会在集群上安装好zookeeper集群，然后多个项目共用一个zk集群，有利于提高资源利用率。

HBase还需要一个正在运行的HDFS集群，如何搭建请参考我的这篇博客，在CentOS上安装Hadoop 2.x 集群。

###2.1 设置SSH无密码登录localhost
先检查一下是能够无密码登录本机，

ssh localhost

如果提示输入密码，说明不能，按如下步骤设置。

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

###2.2 下载，解压

$ wget wget http://mirror.esocc.com/apache/hbase/hbase-0.96.1.1/hbase-0.96.1.1-hadoop2-bin.tar.gz
$ tar zxf hbase-0.96.1.1-hadoop2-bin.tar.gz -C ~/local/opt

###2.3 hbase-env.sh
在这个文件中要指明JDK 安装在了哪里

$ echo $JAVA_HOME
/usr/lib/jvm/java
$ vim conf/hbase-env.sh

取消JAVA_HOME那一行的注释，设置正确的JDK位置

export JAVA_HOME=/usr/lib/jvm/java

###2.4 conf/hbase-site.xml
内容如下

<configuration>
  <property>
    <name>hbase.rootdir</name>
    <value>/home/hadoop/local/var/hadoop/hbase</value>
  </property>
  <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
  </property>

  <property>
    <name>hbase.zookeeper.property.clientPort</name>
    <value>2181</value>
  </property>
  <property>
    <name>hbase.zookeeper.quorum</name>
    <value>zk01, zk02, zk03</value>
  </property>
  <property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/home/zookeeper/local/var/zookeeper</value>
  </property>
</configuration>

hbase.rootdir是HBase存放数据的目录，这个值应该从Hadoop集群的core-site.xml里的fs.defaultFS或fs.default.name拷贝过来。

接下来关于ZooKeeper的三项配置都是从ZooKeeper集群的zoo.cfg里拷贝过来的。

###2.5 启动

$ ./bin/start-hbase.sh
starting Master, logging to logs/hbase-user-master-example.org.out

查看一下进程，

$ jps
26142 HMaster
26255 HRegionServer
26360 Jps

启动了一个HMaster和一个HRegionServer。

###2.6 试用一下HBase shell
见第1.5节。

###2.7 停止

$ ./bin/stop-hbase.sh
stopping hbase...............

##3 完全分布式模式(Fully-distributed mode)

###3.1 准备3台机器
跟这篇文章在CentOS上安装Hadoop 2.x 集群的第2.1节很类似。

设3台机器的hostname分别是master, slave01, slave02, master作为HMaster，而slave01,slave02作为HRegionServer。

###3.2 配置 master 无密码登陆到所有机器（包括master自己登陆自己）
参考我的另一篇博客，SSH无密码登录的配置

###3.3 把HBase压缩包上传到所有机器，并解压
将 hbase-0.96.1.1-hadoop2-bin.tar.gz 上传到所有机器，然后解压。注意，所有机器的hbase路径必须一致，因为master会登陆到slave上执行命令，master认为slave的hbase路径与自己一样。

下面开始配置，配置好了后，把conf/目录scp到所有其他机器。

###3.4 修改配置文件
在第2节的基础上，增加下列修改。

####3.4.1 conf/regionservers
在这个文件里面添加slave，一行一个。

slave01
slave01

####3.4.2 将conf/目录拷贝到所有slaves

$ scp -r conf/ hbase@slave01:$HBASE_HOME/
$ scp -r conf/ hbase@slave02:$HBASE_HOME/

###3.5 启动HBase集群

####3.5.1 启动
在master上执行：

$ ./bin/start-hbase.sh

####3.5.2 检查是否启动成功
用jps查看java进程。

在master上，应该有一个HMaster进程，在每台slave上，应该有一个HRegionServer进程。

####3.5.3 Web UI

• HMaster: http://master:60010
• HRegionServer: http://slave:60030

##4 客户端
想要在另一台机器，或者另一个用户下访问HBase，怎么办？把hbase的安装目录整个拷贝过来即可，不用任何配置（跟Hadoop想比简单多了）。

运行./bin/hbase shell，就可以使用HBase集群了。

##参考资料

1. 1.2. Quick Start
2. 2.2 HBase run modes: Standalone and Distributed
3. 2.4. Example Configurations
4. Chapter 17. ZooKeeper
5. CentOS分布式环境安装HBase-0.96.0

本文主要参考官网的Getting Started

##（可选）创建新用户
一般我倾向于把需要启动daemon进程，对外提供服务的程序，即服务器类的程序，安装在单独的用户下面。这样可以做到隔离，运维方面，安全性也提高了。

创建一个新的group,

$ sudo groupadd zookeeper

创建一个新的用户，并加入group,

$ sudo useradd -g zookeeper zookeeper

给新用户设置密码，

$ sudo passwd zookeeper

##1. 单机模式(Standalone mode)
单机模式在开发和调试阶段很有用。

###1.1 下载，解压

$ wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.5/zookeeper-3.4.5.tar.gz
$ tar zxf zookeeper-3.4.5.tar.gz -C ~/local/opt

###1.2 启动
默认就是单机模式，

$ mv conf/zoo_sample.cfg conf/zoo.cfg
$ ./bin/zdServer.sh start

###1.3 使用java 客户端连接ZooKeeper

$ ./bin/zkCli.sh -server 127.0.0.1:2181

然后就可以使用各种命令了，跟文件操作命令很类似，输入help可以看到所有命令。

####1.4 关闭

$ ./bin/zdServer.sh stop

##2. 分布式模式(Replicated mode)
在生产环境中，要配置成分布式模式，才能发挥威力。

ZooKeeper集群一般被称为ZooKeeper ensemble，或者 quorum.

###2.1 准备3台机器
假设有三台机器，hostname和ip对应关系是：

192.168.1.131 zk01
192.168.1.132 zk02
192.168.1.133 zk03

ZooKeeper不存在明显的master/slave关系，各个节点都是服务器，leader挂了，会立马从follower中选举一个出来作为leader.

由于没有主从关系，也不用配置SSH无密码登录了，各个zk服务器是自己启动的，互相之间通过TCP端口来交换数据。

###2.2 修改配置文件conf/zoo.cfg

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/home/zookeeper/local/var/zookeeper
clientPort=2181
server.1=zk01:2888:3888
server.2=zk02:2888:3888
server.3=zk03:2888:3888

我一般把服务器程序，即需要启动daemon进程的程序，放在单独的用户里安装；且用户的数据，放在local/var下面，所以我的dataDir是/home/zookeeper/local/var/zookeeper。

###2.3 myid文件
要在每台机器的dataDir下，新建一个myid文件，里面存放一个数字，用来标识当前主机。

zookeeper@zk01:$ echo "1" >> ~/local/var/zookeeper/myid
zookeeper@zk02:$ echo "2" >> ~/local/var/zookeeper/myid
zookeeper@zk03:$ echo "3" >> ~/local/var/zookeeper/myid

###2.4 启动每台机器

zookeeper@zk01:$ ~/local/opt/zookeeper-3.4.5/bin/zkServer.sh start
zookeeper@zk02:$ ~/local/opt/zookeeper-3.4.5/bin/zkServer.sh start
zookeeper@zk03:$ ~/local/opt/zookeeper-3.4.5/bin/zkServer.sh start

因为3个节点的启动是有顺序的，所以在陆续启动三个节点的时候，前面先启动的节点连接未启动的节点的时候会报出一些错误。可以忽略。

###2.5 查看状态

$ ~/local/opt/zookeeper-3.4.5/bin/zkServer.sh status

##3 使用java客户端连接ZooKeeper集群

找一台机器，解压zookeeper压缩包，不用配置，就可以使用java客户端连接ZooKeeper集群中的任意一台服务器了。

$ ./bin/zkCli.sh -server zk01:2181
$ ./bin/zkCli.sh -server zk01:2181
$ ./bin/zkCli.sh -server zk01:2181

连接上以后，就可以执行各种命令，使用help查看帮助。

##参考资料

1. Getting Started
2. Zookeeper 3.4.5 集群安装笔记

• 一个用户不能修改另一个用户的的文件
• 在hadoop web管理页面，可以很方便的看到不同的用户的job

现在集群中有一台机器，上面有一个用户名为 hbase 的用户，他想要使用hadoop集群，怎么配置呢？

##1. 安装hadoop客户端

###1.1 下载，解压
下载跟hadoop集群一样的hadoop软件包，并解压，

$ wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.2.0/hadoop-2.2.0.tar.gz
$ tar -zxf hadoop-2.2.0.tar.gz -C ~/local/opt
$ cd ~/local/opt/hadoop-2.2.0

###1.2 拷贝Hadoop集群的配置文件
将Hadoop集群的配置文件全部拷贝到客户端，相当与把集群的信息告诉客户端。

$ scp -r hadoop@localhost:~/local/opt/hadoop-2.2.0/etc/hadoop ./etc/

修改conf/mapred-site.xml中的mapreduce.cluster.local.dir，改为本机上的某个目录，确保这个目录存在且有写权限。因为这个目录是本地目录，每台机器都可以不同。例如我的是：

<property>
  <name>mapreduce.cluster.local.dir</name>
  <value>/home/soulmachine/local/var/hadoop/mapred/local</value>
</property>

确保这个目录存在，

$ mkdir -p ~/local/var/hadoop/mapred/local

还有另一种方法，由于mapreduce.cluster.local.dir默认值是${hadoop.tmp.dir}/mapred/local，也可以通过修改hadoop.tmp.dir达到目的，在core-site.xml中，确保${hadoop.tmp.dir}/mapred/local存在且有写权限。

##2. 在master上配置权限
以下操作均在hadoop集群的 namenode 这台机器上进行，且登录为hadoop，因为hadoop这个用户是整个hadoop集群权限最高的用户（但对于Linux系统本身，这个用户其实没有sudo权限）。

Hadoop关于用户权限方面，有很多高级的配置，这里我们简单的利用HDFS本身的文件权限检查机制，来配置多用户。

HDFS本身没有提供用户名、用户组的创建，在客户端调用hadoop 的文件操作命令时，hadoop 识别出执行命令所在进程的linux系统的用户名和用户组，然后使用这个用户名和组来检查文件权限。 用户名=linux命令中的whoami，而组名等于groups。

启动hadoop hdfs系统的用户即为超级用户（在这里就是名为hadoop的这个用户），可以进行任意的操作。

在客户端机器上，用gropus命令看一下hbase所在的组，

$ groups
hbase

说明hbase这个用户所在的组为hbase。

###2.1 为客户端用户创建home文件夹

$ hdfs dfs -mkdir /user/hbase
$ hdfs dfs -chown hbase /user/hbase
$ hdfs dfs -chgrp hbase /user/hbase

###2.2 设置HDFS上的/tmp目录的权限
客户端提交job的时候，需要往/tmp里写入文件，因此最好把/tmp设置为所有用户都有可读、可写和可执行的权限。

$ hdfs dfs -chmod -R 777 /tmp

###2.3 设置mapreduce.jobtracker.staging.root.dir
客户端向集群提交任务时，需要把该job需要的文件打包，拷贝到HDFS上。在拷贝之前，得先确定这些资源文件存放在HDFS的什么地方。JobTracker设置有一个工作目录(Staging area, 也称数据中转站)，用来存储与每个job相关的数据。这个目录的前缀由mapreduce.jobtracker.staging.root.dir 参数来指定，默认是${hadoop.tmp.dir}/mapred/staging，每个client user可以提交多个job，在这个目录后就得附加user name的信息。所以这个工作目录(Staging area)默认是${hadoop.tmp.dir}/mapred/staging/denny/.staging/。

一般把前缀设置为/user，这是官方推荐的，见 mapred-default.xml 里的mapreduce.jobtracker.staging.root.dir处：

The root of the staging area for users’ job files In practice, this should be the directory where users’ home directories are located (usually /user)

#以hadoop用户登录jobtracker机器
$ vim conf/mapred-site.xml
<property>
  <name>mapreduce.jobtracker.staging.root.dir</name>
  <value>/user</value>
</property>

###2.4 重启hadoop集群
将配置文件scp到所有机器，然后重启集群，

$ ./sbin/stop-yarn.sh
$ ./sbin/start-yarn.sh
$ ./sbin/stop-dfs.sh
$ ./sbin/start-dfs.sh

##3. 测试一下
回到客户端机器。

将输入数据拷贝到分布式文件系统中:

$ ./bin/hdfs dfs -put /etc/hadoop input
$ ./bin/hdfs dfs -ls input

运行 Hadoop 自带的例子:

$ ./bin/$ hadoop jar $HADOOP_PREFIX/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount input output

查看输出文件:

$ hdfs dfs -lsr output
$ hdfs dfs -cat output/part-r-00000

如果能看到结果，说明这个例子运行成功。

###4 （可选）将bin目录加入PATH
这样就不用每次都cd到Hadoop目录，执行命令了。

在 ~/.bashrc中添加如下4行：

export HADOOP_PREFIX=$HOME/local/opt/hadoop-2.2.0
export PATH=$PATH:$HADOOP_PREFIX/bin
alias hls="hdfs dfs -ls"

source使之立刻生效，

$ source ~/.bashrc

##参考资料

1. hadoop远程客户端安装配置、多用户权限配置
2. hadoop如何创建多用户
3. 关于多用户时hadoop的权限问题
4. MapReduce: Job提交过程
5. hadoop中的dfs.name.dir,mapred.local.dir,mapred.system.dir和hadoop.tmp.dir说明
6. Hadoop 參數設定 – mapred-site.xml

本文主要参考官网的文档，Hadoop 2.2.0 Single Node Setup， Hadoop 2.2.0 Cluster Setup

##（可选）创建新用户
一般我倾向于把需要启动daemon进程，对外提供服务的程序，简单的说，就是服务器类程序，安装在单独的用户下面。这样可以做到隔离，运维方面，安全性也提高了。

创建一个新的group,

$ sudo groupadd hadoop

创建一个新的用户，并加入group,

$ sudo useradd -g hadoop hadoop

给新用户设置密码，

$ sudo passwd hadoop

##1 伪分布式模式(Pseudo-Distributed Mode)
Hadoop能在单台机器上以伪分布式模式运行，即每个Hadoop模块运行在单独的java进程里。

###1.1 设置SSH无密码登录localhost
先检查一下是能够无密码登录本机，

ssh localhost

如果提示输入密码，说明不能，按如下步骤设置。

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

###1.2 下载已经编译好的二进制包，解压
用浏览器下载或wget,

$ wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.2.0/hadoop-2.2.0.tar.gz
$ tar -zxf hadoop-2.2.0.tar.gz -C ~/local/opt
$ cd ~/local/opt/hadoop-2.2.0

###1.3 设置环境变量

$ vim ~/.bashrc
export HADOOP_PREFIX=$HOME/local/opt/hadoop-2.2.0
export HADOOP_COMMON_HOME=$HADOOP_PREFIX
export HADOOP_HDFS_HOME=$HADOOP_PREFIX
export HADOOP_MAPRED_HOME=$HADOOP_PREFIX
export HADOOP_YARN_HOME=$HADOOP_PREFIX
export HADOOP_CONF_DIR=$HADOOP_PREFIX/etc/hadoop
export PATH=$PATH:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin

###1.4 修改配置文件
配置文件的位置在 $HADOOP_PREIFIX/etc/hadoop下面。

###1.4.1 hadoop-env.sh
在这个文件中要告诉hadoop JDK 安装在了哪里

$ echo $JAVA_HOME
/usr/lib/jvm/java
$ vim conf/hadoop-env.sh

取消JAVA_HOME那一行的注释，设置正确的JDK位置

export JAVA_HOME=/usr/lib/jvm/java

####1.4.2 HDFS的配置
为了简单，我们仍采用Hadoop 1.x中的HDFS工作模式（不配置HDFS Federation）。

core-site.xml:

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost</value>
  </property>
</configuration>

hdfs-site.xml:

<configuration>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:///home/hadoop/local/var/hadoop/hdfs/datanode</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:///home/hadoop/local/var/hadoop/hdfs/namenode</value>
  </property>
  <property>
    <name>dfs.namenode.checkpoint.dir</name>
    <value>file:///home/hadoop/local/var/hadoop/hdfs/namesecondary</value>
  </property>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

Hadoop会自动创建目录。

####1.4.3 YARN的配置
yarn-site.xml，不用修改，保持为空。

####1.4.4 MapReduce的配置
Yarn不仅仅只支持MapReduce这种计算模式，还支持Spar, Tez, MPI等框架，因此，要显式地配置Yarn，使其支持mapreduce。在Hadoop 1.x中，只支持MapReduce，因此需要而且必须配置mapred-site.xml，到了Hadoop 2.x，MapReduce的配置是可选的。

在yarn-site.xml中添加：

<property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
</property>

解释：为了能够运行MapReduce程序，需要让各个NodeManager在启动时加载shuffle server，shuffle server实际上是Jetty/Netty Server，Reduce Task通过该server从各个NodeManager上远程拷贝Map Task产生的中间结果。上面增加的这个配置用于指定shuffle server。

将 mapred-site.xml.template 复制一份，重命名为mapred-site.xml。

mapred-site.xml:

<property>
   <name>mapreduce.framework.name</name>
   <value>yarn</value>
</property>

解释：用mapreduce.framework.name指定采用的框架名称，默认是将作业提交到MRv1的JobTracker端。

###1.5 测试

####1.5.1 启动HDFS

$ hdfs namenode -format
$ start-dfs.sh

####1.5.2 启动Yarn

$ start-yarn.sh

####1.5.3 启动MapReduce
在Hadoop 2.x中，MapReduce Job不需要额外的daemon进程，在MapReduce Application Master启动的时候会自动启动JobTracker和TaskTracker进程，Job结束的时候会自动被关闭。

####1.5.4 运行一个DistributedShell的例子
运行一个Hadoop自带的例子，名称为DistributedShell，可以同时在多台机器上运行shell命令。

$ hadoop jar $HADOOP_PREFIX/share/hadoop/yarn/hadoop-yarn-applications-distributedshell-2.2.0.jar org.apache.hadoop.yarn.applications.distributedshell.Client --jar $HADOOP_PREFIX/share/hadoop/yarn/hadoop-yarn-applications-distributedshell-2.2.0.jar --shell_command date --num_containers 2

运行完成后，看看倒数第三行，有类似与application_1391783685869_0001的字符串，这是application ID。查看该application的每个container的输出，执行下面的命令，

$ grep "" $HADOOP_PREFIX/logs/userlogs/<APPLICATION ID>/**/stdout

####1.5.5 运行wordcount

$ cd $HADOOP_PREFIX
$ hdfs dfs -put ./etc/hadoop/ input
$ hadoop jar $HADOOP_PREFIX/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount input output
$ hdfs dfs -lsr output
$ hdfs dfs -cat output/part-r-00000

结束后，关闭 Hadoop:

$ stop-dfs.sh
$ stop-yarn.sh

##2 分布式模式(Fully-Distributed Mode)

###2.1 准备3台机器
如果你已经有了三台机器，这一步可以省略。

如果没有，则可以用VMware Workstation 或 VirtualBox创建3台虚拟机。首先用vmware workstation 新建一台CentOS 6.5，装好操作系统，选择 Basic Server，安装JDK，参考我的另一篇博客，安装和配置CentOS服务器的详细步骤。安装好后然后用浅拷贝Create a linked clone 克隆出2台，这样有了3台虚拟机。启动3台机器，假设IP分别为192.168.1.131, 192.168.1.132, 192.168.1.133, 131做为NameNode,JobTracker和SecondaryNameNode，身兼3个角色，这3个角色应该放到3台不同的机器上，这里为了简化，用一台机器来做3个角色；132和133为 slave。假设三台机器上的用户名是hadoop，也可以用其他用户名，但必须三台机器都相同。

####2.1.1 关闭防火墙
临时关闭防火墙

$ sudo service iptables stop

下次开机后，防火墙还是会启动。

永久关闭防火墙

$ sudo chkconfig iptables off

由于这几台虚拟机是开发机，不是生产环境，因此不必考虑安全性，可以永久关闭防火墙，还能给开发阶段带来很多便利。

####2.1.2 修改hostname
如果集群中的每一台机器事先已经有了hostname，则这一步可以跳过。

这一步看起来貌似不必要，其实是必须的，否则最后运行wordcount等例子时，会出现“Too many fetch-failures”。因为HDFS用hostname而不是IP，来相互之间进行通信（见后面的注意1）。

在CentOS上修改hostname，包含两个步骤(假设将hostname1改为hostname2，参考这里，但不需要第一步)：

1. 将 /etc/sysconfig/network 內的 HOSTNAME 改成 yourhostname
2. 用hostname命令，临时修改机器名， sudo hostname yourhostname

用exit命令退出shell，再次登录，命令提示字符串就会变成[username@yourhostname ~]$。

用上述方法，将131改名为master，132改名为slave01，133改名为slave02。

注意，对于有的Ubuntu/Debia 系统，会把本机的hostname解析成 127.0.1.1，例如：

127.0.0.1       localhost
127.0.1.1       master

将第二行改为(参考利用Cloudera实现Hadoop)

127.0.0.1       master

####2.1.3 修改所有机器的/etc/hosts文件
在所有机器的/etc/hosts文件中，添加所有hostname对应的IP，一般在一台机器上设置好，然后scp到所有机器。例如

192.168.1.131 master
192.168.1.132 slave01
192.168.1.133 slave02

###2.2 配置 master 无密码登陆到所有机器（包括master自己登陆自己）
参考我的另一篇博客，SSH无密码登录的配置

###2.3 把Hadoop压缩包上传到所有机器，并解压
将 hadoop-1.2.1-bin.tar.gz 上传到所有机器，然后解压。注意，所有机器的hadoop路径必须一致，因为master会登陆到slave上执行命令，master认为slave的hadoop路径与自己一样。

下面开始配置，配置好了后，把./etc/hadoop目录scp到所有其他机器。

###2.4 修改配置文件
在第1节的基础上，增加下列修改。

####2.4.1 指定NameNode
在core-site.xml中，fs.defaultFS要改为运行NameNode的那台机器的hostname，不再是localhost。

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://master</value>
  </property>
</configuration>

####2.4.2 指定ResourceManager
在yarn-site.xml中增加，

<property>
   <name>yarn.resourcemanager.hostname</name>
   <value>master</value>
</property>

####2.4.3 添加Slave，即NodeManager
在 etc/hadoop/slaves中添加，

slave01
slave02

####2.4.4 设置 hadoop.tmp.dir
在core-site.xml里添加：

<property>
  <name>hadoop.tmp.dir</name>
  <value>/home/hadoop/local/var/hadoop/tmp/hadoop-${user.name}</value>
</property>

####2.4.4 修改mapred-site.xml
添加如下内容：

<property>
    <name>mapreduce.jobtracker.staging.root.dir</name>
    <value>/user</value>
</property>

这是为以后的多用户支持做准备。

####2.4.4 设置pid文件的存放位置
在hadoop-env.sh中添加

export HADOOP_MAPRED_PID_DIR=/home/hadoop/local/var/hadoop/pids

在 mapred-env.sh中添加

export HADOOP_PID_DIR=/home/hadoop/local/var/hadoop/pids

####2.4.5 将dfs.replication设置为slave的个数
我们这里有2台slave，就设置为2。在hdfs-site.xml里添加：

<property>
    <name>dfs.replication</name>
    <value>2</value>
</property>

####2.4.6 将配置文件拷贝到所有slaves

$ cd $HADOOP_PREFIX/etc/hadoop
$ scp hadoop-env.sh mapred-env.sh core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml slaves hadoop@slave01:$HADOOP_PREFIX/etc/hadoop
$ scp hadoop-env.sh mapred-env.sh core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml slaves hadoop@slave02:$HADOOP_PREFIX/etc/hadoop

###2.5 设置环境变量
在所有机器上添加环境变量，与第1.3节相同。

###2.6 启动 hadoop

####2.6.1 启动HDFS
在NameNode这个机器（在这里是master）上执行下列命令，

#只需一次，下次启动不再需要格式化，只需 start-dfs.sh
$ hdfs namenode -format
$ start-dfs.sh

####2.6.2 启动Yarn
在ResourceManager这台机器（在这里仍然是master）上执行，

$ start-yarn.sh

####2.6.3 启动MapReduce
在Hadoop 2.x中，MapReduce Job不需要额外的daemon进程，在Job开始的时候，NodeManager会启动一个MapReduce Application Master（相当与一个精简的JobTracker），Job结束的时候自动被关闭。

####2.6.4 检查是否启动成功
用jps查看java进程。

在master上，应该有三个进程，NameNode, SecondaryNameNode, ResourceManger；在每台slave上，应该有两个进程，DataNode, NodeManager。

####2.6.5 Web UI
可以用浏览器打开NameNode, ResourceManager和各个NodeManager的web界面，

• NameNode web UI, http://master:50070/
• ResourceManager web UI, http://master:8088/
• NodeManager web UI, http://slave01:8042

还可以启动JobHistory Server，能够通过Web页面查看集群的历史Job，执行如下命令：

mr-jobhistory-daemon.sh start historyserver

默认使用19888端口，通过访问http://master:19888/查看历史信息。

终止JobHistory Server，执行如下命令：

mr-jobhistory-daemon.sh stop historyserver

###2.8 运行wordcount
将输入数据拷贝到HDFS中:

$ cd $HADOOP_PREFIX
$ hdfs dfs -put ./etc/hadoop input

这一步会报错，”No such file or directory”, 用hdfs dfs -ls /查看，是空的，难怪了。我们需要手动建立”/user/hadoop”目录，

$ hdfs dfs -mkdir /user/hadoop

再上传文件，就可以了。

运行WordCount:

$ hadoop jar $HADOOP_PREFIX/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount input output

查看结果：

$ hdfs dfs -lsr output
$ hdfs dfs -cat output/part-r-00000

如果能看到结果，说明这个例子运行成功。

###2.9 停止 hadoop集群
在master上执行：

$ stop-yarn.sh
$ stop-hdfs.sh

##4. 排除错误
本文已经尽可能的把步骤详细列出来了，但是我相信大部分人不会一次成功。这时候，查找错误就很重要了。查找错误最重要的手段是查看hadoop的日志，一般在logs目录下。把错误消息复制粘贴到google，搜索一下，慢慢找错误。

##参考资料

1. core-default, hdfs-default, yarn-default, mapred-default
2. Hadoop YARN安装部署初探
3. Hadoop YARN Installation: The definitive guide
4. Setup newest Hadoop 2.x (2.2.0) on Ubuntu
5. Hadoop-2.2.0集群安装配置实践
6. Hadoop YARN配置参数剖析(1)—RM与NM相关参数

##相关文章

1. 在CentOS上安装Hadoop集群
2. 在Ubuntu上安装Hadoop

前面的3篇文章中，Nutch 快速入门(Nutch 1.7)，Nutch 快速入门(Nutch 2.2.1)，在Eclipse里运行Nutch，Nutch都是跑在单机上，本文把Nutch部署到Hadoop集群上，在真正的分布式Hadoop集群上跑。

##前提

• 学会了搭建一个分布式Hadoop集群，见在CentOS上安装Hadoop集群
• 学会了单机跑Nutch，见Nutch 快速入门(Nutch 1.7)

##1 启动Hadoop集群
伪分布式或真分布式的Hadoop集群都可以，无所谓。

选择一台配置好了的Hadoop客户端的机器（见Hadoop多用户的配置），作为客户机，以下操作均在这台客户机上进行。

##2 下载Nutch源码
有两种方法，

1. 去官网首页下载apache-nutch-1.7-src.tar.gz

2. 用svn checkout

   $ svn co https://svn.apache.org/repos/asf/nutch/tags/release-1.7
   

##3 把Hadoop的6个配置文件拷贝到Nutch的conf/目录
将Hadoop的六个配置文件，拷贝到Nutch的conf/目录，相当于把Hadoop集群的配置信息告诉Nutch，

在伪分布式模式下，

$ cd ~/local/opt/hadoop-1.2.1/conf
$ cp hadoop-env.sh core-site.xml hdfs-site.xml mapred-site.xml masters slaves /home/soulmachine/local/src/apache-nutch-1.7/conf

在分布式模式下，

$ ssh hadoop@localhost
$ cd ~/local/opt/hadoop-1.2.1/conf
$ scp hadoop-env.sh core-site.xml hdfs-site.xml mapred-site.xml masters slaves soulmachine@localhost:~/local/src/apache-nutch-1.7/conf
$ exit

##4 修改Nutch的配置文件
修改 conf/nutch-site.xml:

<property>
  <name>http.agent.name</name>
  <value>My Nutch Spider</value>
</property>

修改 regex-urlfilter.txt, 见Nutch 快速入门(Nutch 1.7) 第4节，

#注释掉这一行
# skip URLs containing certain characters as probable queries, etc.
#-[?*!@=]
# accept anything else
#注释掉这行
#+.
+^http:\/\/movie\.douban\.com\/subject\/[0-9]+\/(\?.+)?$

##5 重新编译Nutch
每次修改了$NUTCH_HOME/conf下的的文件，都需要重新编译Nutch，重新打包生成一个nutch-x.x.x.job文件，见这里，Running Nutch in (pseudo) distributed-mode。也可以打开build.xml看看里面的”runtime”这个task干了什么，就明白了。

$ ant runtime

这会在runtime/deploy下生成一个Job文件，apache-nutch-1.7.job，它本质上是一个zip压缩包，可以打开看一下它里面的内容。可以看到它包含了很多编译好的class文件，以及从conf/目录下的拷贝出来的xml配置文件。

##6 向Hadoop集群提交Job，进行抓取

首先，要在con/hadoop-env.sh 添加HADOOP_CLASSPATH，让Hadoop知道去哪里找Nutch所依赖的jar包，

export HADOOP_CLASSPATH=/home/soulmachine/local/opt/apache-nutch-1.7/runtime/local/lib/*.jar

上传种子URL列表，

$ hadoop fs -put ~/urls urls
$ hadoop fs -lsr urls

提交Job,

$ hadoop jar ./runtime/deploy/apache-nutch-1.7.job org.apache.nutch.crawl.Crawl urls -dir TestCrawl -depth 1 -topN 5

可以打开web页面监控job的进度，

• Jobtracer: http://master:50030
• Namenode: http://master:50070

把Nutch运行在伪分布式Hadoop集群上，比Standalone模式要好，因为可以通过web页面监控job。

查看结果

$ hadoop fs -ls TestCrawl

Found 3 items
drwxr-xr-x   - soulmachine supergroup          0 2014-02-04 02:17 /user/soulmachine/TestCrawl/crawldb
drwxr-xr-x   - soulmachine supergroup          0 2014-02-04 02:18 /user/soulmachine/TestCrawl/linkdb
drwxr-xr-x   - soulmachine supergroup          0 2014-02-04 02:16 /user/soulmachine/TestCrawl/segments

##7 注意
如果出现java.io.IOException: No valid local directories in property: mapred.local.dir的错误，说明你的客户机的mapred-site.xml是从hadoop集群拷贝过来的，没有修改过，mapred.local.dir是一个本地目录，集群上的机器有这个目录，但是你的本机上没有，所以出现了这个错误。解决办法是，在本地新建一个目录，然后把mapred.local.dir设置为这个路径。

如果出现org.apache.hadoop.security.AccessControlException: Permission denied: user=soulmachine, access=WRITE, inode="tmp"的错误，多半是因为你没有给这个用户创建hadoop.tmp.dir文件夹，见Hadoop多用户的配置第2.2节。

##8 把Nutch 1.7 爬虫部署到Hadoop 2.x集群上
事实证明是完全可行的，Hadoop 2.x 向后兼容。

把hadoop 2.x的配置文件，全部拷贝到 nutch 的conf目录下

cp ~/local/opt/hadoop-2.2.0/etc/hadoop* ~/local/src/apache-nutch-1.7/conf

然后编译，

ant runtime

把种子列表上传到hdfs,

$ hdfs dfs -put ~/urls urls
$ hdfs dfs -lsr urls

提交Job,

$ hadoop jar ./runtime/deploy/apache-nutch-1.7.job org.apache.nutch.crawl.Crawl urls -dir TestCrawl -depth 2

查看结果，

$ cd runtime/deploy
$ ./bin/readdb hdfs://localhost/user/soulmachine/TestCrawl/crawldb/ -stats
14/02/14 16:51:07 INFO crawl.CrawlDbReader: Statistics for CrawlDb: hdfs://localhost/user/soulmachine/TestCrawl/crawldb/
14/02/14 16:51:07 INFO crawl.CrawlDbReader: TOTAL urls:    70
14/02/14 16:51:07 INFO crawl.CrawlDbReader: retry 0:    70
14/02/14 16:51:07 INFO crawl.CrawlDbReader: min score:    0.006
14/02/14 16:51:07 INFO crawl.CrawlDbReader: avg score:    0.03972857
14/02/14 16:51:07 INFO crawl.CrawlDbReader: max score:    1.2
14/02/14 16:51:07 INFO crawl.CrawlDbReader: status 1 (db_unfetched):    59
14/02/14 16:51:07 INFO crawl.CrawlDbReader: status 2 (db_fetched):    11
14/02/14 16:51:07 INFO crawl.CrawlDbReader: CrawlDb statistics: done

##参考资料

1. Web Crawling and Data Mining with Apache Nutch 的第3.2节

2. Install Nutch 1.7 and Hadoop 1.2.0

3. hadoop mapred(hive)执行目录 文件权限问题

##废弃的资料

1. Nutch and Hadoop Tutorial，讲的是Nutch 1.3的，太老了，完全不适用Nutch 1.7

2. Running Nutch in (pseudo) distributed-mode，太短了，没什么内容

• 一个用户不能修改另一个用户的的文件
• 在hadoop web管理页面，可以很方便的看到不同的用户的job

现在集群中有一台机器，上面有一个用户名为 hbase 的用户，他想要使用hadoop集群，怎么配置呢？

##1. 安装hadoop客户端

###1.1 下载，解压
下载跟hadoop集群一样的hadoop软件包，并解压，

$ wget http://mirror.olnevhost.net/pub/apache/hadoop/common/stable1/hadoop-1.2.1-bin.tar.gz
$ tar -zxf hadoop-1.2.1-bin.tar.gz -C ~/local/opt
$ cd ~/local/opt/hadoop-1.2.1

###1.2 配置
在客户端只需配置集群namenode 和 jobtracker 的相关信息, 把namenode和jobtracker的信息告诉客户端即可。

把hadoop用户下的conf/core-site.xml和conf/mapred-site.xml拷贝到本用户的conf/目录下

$ scp hadoop@localhost:~/local/opt/hadoop-1.2.1/conf/core-site.xml ./conf/
$ scp hadoop@localhost:~/local/opt/hadoop-1.2.1/conf/mapred-site.xml ./conf/

修改conf/mapred-site.xml中的mapred.local.dir，改为本机上的某个目录，确保这个目录存在且有写入。因为这个目录是本地目录，每台机器都可以不同。例如我的是：

<property>
  <name>mapred.local.dir</name>
  <value>/home/soulmachine/local/var/hadoop/mapred/local</value>
</property>

确保这个目录存在，

$ mkdir -p ~/local/var/hadoop/mapred/local

还有另一种方法，由于mapred.local.dir默认值是${hadoop.tmp.dir}/mapred/local，也可以通过修改hadoop.tmp.dir达到目的，在core-site.xml中，确保${hadoop.tmp.dir}/mapred/local存在且有写权限。

##2. 在master上配置权限
以下操作均在hadoop集群的 namenode 这台机器上进行，且登录为hadoop，因为hadoop这个用户是整个hadoop集群权限最高的用户（但对于Linux系统本身，这个用户其实没有sudo权限）。

Hadoop关于用户权限方面，有很多高级的配置，这里我们简单的利用HDFS本身的文件权限检查机制，来配置多用户。

HDFS本身没有提供用户名、用户组的创建，在客户端调用hadoop 的文件操作命令时，hadoop 识别出执行命令所在进程的linux系统的用户名和用户组，然后使用这个用户名和组来检查文件权限。 用户名=linux命令中的whoami，而组名等于groups。

启动hadoop hdfs系统的用户即为超级用户（在这里就是名为hadoop的这个用户），可以进行任意的操作。

在客户端机器上，用gropus命令看一下hbase所在的组，

$ groups
hbase

说明hbase这个用户所在的组为hbase。

###2.1 为客户端用户创建home文件夹

$ hadoop fs -mkdir /user/hbase
$ hadoop fs -chown hbase /user/hbase
$ hadoop fs -chgrp hbase /user/hbase

###2.2 为客户端用户创建hadoop.tmp.dir文件夹
hadoop.tmp.dir既是一个本地目录，也是HDFS上的一个目录，参考What should be hadoop.tmp.dir?。默认是/tmp/hadoop-${user.name}（参考官方表格，core-default），所以我们需要为用户创建这个文件夹，

$ hadoop fs -mkdir /tmp/hadoop-hbase
$ hadoop fs -chown hbase /tmp/hadoop-hbase
$ hadoop fs -chgrp hbase /tmp/hadoop-hbase

补充说明一下各个常见目录的相关知识，

• dfs.name.dir和dfs.data.dir都是本地目录，它们是HDFS的基础，所以只可能是本地目录
• mapred.local.dir是本地目录，当客户端向集群提交了一个任务后，该job相关的文件（jar包和配置文件）会存放在HDFS上，各个slave从HDFS把这些文件下载到本地，然后开始执行。
• mapred.system.dir是一个HDFS目录，存放了一个job的控制信息，被多个slave所共享，所以只能是HDFS目录。
• mapred.temp.dir是一个HDFS目录，存放着一个job的临时文件，job结束后会被自动删除。

###2.3 设置mapreduce.jobtracker.staging.root.dir
客户端向集群提交任务时，需要把该job需要的文件打包，拷贝到HDFS上。在拷贝之前，得先确定这些资源文件存放在HDFS的什么地方。JobTracker设置有一个工作目录(Staging area, 也称数据中转站)，用来存储与每个job相关的数据。这个目录的前缀由mapreduce.jobtracker.staging.root.dir 参数来指定，默认是${hadoop.tmp.dir}/mapred/staging，每个client user可以提交多个job，在这个目录后就得附加user name的信息。所以这个工作目录(Staging area)默认是${hadoop.tmp.dir}/mapred/staging/denny/.staging/。

一般把前缀设置为/user，这是官方推荐的，见 mapred-default.xml 里的mapreduce.jobtracker.staging.root.dir处：

The root of the staging area for users’ job files In practice, this should be the directory where users’ home directories are located (usually /user)

#以hadoop用户登录jobtracker机器
$ vim conf/mapred-site.xml
<property>
  <name>mapreduce.jobtracker.staging.root.dir</name>
  <value>/user</value>
</property>

###2.4 重启hadoop集群
将配置文件scp到所有机器，然后重启集群，

$ bin/stop-all.sh
$ bin/start-all.sh

##3. 测试一下
回到客户端机器。

将输入数据拷贝到分布式文件系统中:

$ bin/hadoop fs -put conf input
$ bin/hadoop fs -ls input

运行 Hadoop 自带的例子:

$ bin/hadoop jar hadoop-examples-*.jar wordcount input output

查看输出文件:

$ bin/hadoop fs -ls output
$ bin/hadoop fs -cat output/part-r-00000

如果能看到结果，说明这个例子运行成功。

###4 （可选）设置别名，名称为hadoop，指向bin/hadoop
这样就不用每次都cd到Hadoop目录，执行命令了。

在 ~/.bashrc中添加如下4行：

unalias hadoop &> /dev/null
alias hadoop="$HOME/local/opt/hadoop-1.2.1/bin/hadoop"
unalias hls &> /dev/null
alias hls="hadoop fs -ls"

source使之立刻生效，

$ source ~/.bashrc

##参考资料

1. hadoop远程客户端安装配置、多用户权限配置
2. hadoop如何创建多用户
3. 关于多用户时hadoop的权限问题
4. MapReduce: Job提交过程
5. hadoop中的dfs.name.dir,mapred.local.dir,mapred.system.dir和hadoop.tmp.dir说明
6. Hadoop 參數設定 – mapred-site.xml

环境：CentOS 6.5, OPenJDK 1.7, Hadoop 1.2.1

本文主要参考官网的文档，Hadoop 1.2.1 Getting Started

##1 单机模式(Standalone Mode)
为了能顺利安装成功，我们先练习在单台机器上安装Hadoop。在单台机器上，可以配置成单机模式(Standalone Mode)和伪分布式模式(Pseudo-Distributed Mode)，参考官方文档Single Node Setup。

###1.1 下载Hadoop 1.2.1，解压
用浏览器下载或wget,

$ wget http://mirror.olnevhost.net/pub/apache/hadoop/common/stable1/hadoop-1.2.1-bin.tar.gz
$ tar -zxf hadoop-1.2.1-bin.tar.gz -C ~/local/opt
$ cd ~/local/opt/hadoop-1.2.1

###1.2 编辑 conf/hadoop-env.sh，设置 JAVA_HOME

$ echo $JAVA_HOME
/usr/lib/jvm/java
$ vim conf/hadoop-env.sh

取消JAVA_HOME那一行的注释，设置正确的JDK位置

export JAVA_HOME=/usr/lib/jvm/java

###1.3 运行一个job
默认情况下，Hadoop就被配置为Standalone模式了，此时Hadoop的所有模块都运行在一个java进程里。

我们运行一个例子测试一下。下面的几行命令，把 conf下的所有xml文件作为输入，在文件中查找指定的正则表达式，把匹配的结果输出到output目录。

$ mkdir input 
$ cp conf/*.xml input 
$ bin/hadoop jar hadoop-examples-*.jar grep input output 'dfs[a-z.]+' 
$ cat output/*

可以看到正常的结果，说明单机模式运行成功了，下面开始配置伪分布式模式。

##2 伪分布式模式(Pseudo-Distributed Mode)
Hadoop能在单台机器上以伪分布式模式运行，即每个Hadoop模块运行在单独的java进程里。

###2.1 编辑 conf/hadoop-env.sh，设置 JAVA_HOME

$ echo $JAVA_HOME
/usr/lib/jvm/java
$ vim conf/hadoop-env.sh

###2.2 设置无密码SSH登录
先检查一下是能够无密码登录本机，

ssh localhost

如果提示输入密码，说明不能，按如下步骤设置。

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

###2.3 配置

conf/core-site.xml:

<configuration>
     <property>
         <name>fs.default.name</name>
         <value>hdfs://localhost:9000</value>
     </property>
</configuration>

conf/hdfs-site.xml:

<configuration>
     <property>
         <name>dfs.replication</name>
         <value>1</value>
     </property>
</configuration>

conf/mapred-site.xml:

<configuration>
     <property>
         <name>mapred.job.tracker</name>
         <value>localhost:9001</value>
     </property>
</configuration>

###2.4 启动Hadoop

格式化namenode

$ bin/hadoop namenode -format

启动 Hadoop 后台进程

$ bin/start-all.sh

Hadoop的log写入到了${HADOOP_HOME}/logs目录下。

现在可以用浏览器打开NameNode和JobTracker的web界面了。

• NameNode - http://localhost:50070/
• JobTracker - http://localhost:50030/

###2.5 运行一个例子
运行的例子跟单机模式下的例子相同。

将输入数据拷贝到分布式文件系统中:

$ bin/hadoop fs -put conf input

运行 Hadoop 自带的例子:

$ bin/hadoop jar hadoop-examples-*.jar grep input output 'dfs[a-z.]+'

查看输出文件:

$ bin/hadoop fs -cat output/*

1    dfs.replication
1    dfs.server.namenode.
1    dfsadmin

结束后，关闭 Hadoop:

$ bin/stop-all.sh

stopping jobtracker
localhost: stopping tasktracker
stopping namenode
localhost: stopping datanode
localhost: stopping secondarynamenode

##3 分布式模式(Fully-Distributed Mode)
主要参考官方文档Cluster Setup.

###3.1 准备3台机器
如果你已经有了三台机器，这一步可以省略。

如果没有，则可以用VMware Workstation 或 VirtualBox创建3台虚拟机。首先用vmware workstation 新建一台CentOS 6.5，装好操作系统，选择 Basic Server，安装JDK，参考我的另一篇博客，安装和配置CentOS服务器的详细步骤。安装好后然后用浅拷贝Create a linked clone 克隆出2台，这样有了3台虚拟机。启动3台机器，假设IP分别为192.168.1.131, 192.168.1.132, 192.168.1.133, 131做为NameNode,JobTracker和SecondaryNameNode，身兼3个角色，这3个角色应该放到3台不同的机器上，这里为了简化，用一台机器来做3个角色；132和133为 slave。三台机器上的用户名是hadoop，也可以用其他用户名，但必须三台机器都相同。

####3.1.1 关闭防火墙
临时关闭防火墙

$ sudo service iptables stop

下次开机后，防火墙还是会启动。

永久关闭防火墙

$ sudo chkconfig iptables off

由于这几台虚拟机是开发机，不是生产环境，因此不必考虑安全性，可以永久关闭防火墙，还能给开发阶段带来很多便利。

####3.1.2 修改hostname
如果集群中的每一台机器事先已经有了hostname，则这一步可以跳过。

这一步看起来貌似不必要，其实是必须的，否则最后运行wordcount等例子时，会出现“Too many fetch-failures”。因为HDFS用hostname而不是IP，来相互之间进行通信（见后面的注意1）。

在CentOS上修改hostname，包含两个步骤(假设将hostname1改为hostname2，参考这里，但不需要第一步)：

1. 将 /etc/sysconfig/network 內的 HOSTNAME 改成 yourhostname
2. 用hostname命令，临时修改机器名， sudo hostname yourhostname

用exit命令退出shell，再次登录，命令提示字符串就会变成[username@yourhostname ~]$。

用上述方法，将131改名为master，132改名为slave01，133改名为slave02。

注意，对于有的Ubuntu/Debia 系统，会把本机的hostname解析成 127.0.1.1，例如：

127.0.0.1       localhost
127.0.1.1       master

将第二行改为(参考利用Cloudera实现Hadoop)

127.0.0.1       master

####3.1.3 修改所有机器的/etc/hosts文件
在所有机器的/etc/hosts文件中，添加所有hostname对应的IP，一般在一台机器上设置好，然后scp到所有机器。例如

192.168.1.131 master
192.168.1.132 slave01
192.168.1.133 slave02

##3.2 配置 master 无密码登陆到所有机器（包括master自己登陆自己）
参考我的另一篇博客，SSH无密码登录的配置

##3.3 把Hadoop压缩包上传到所有机器，并解压
将 hadoop-1.2.1-bin.tar.gz 上传到所有机器，然后解压。注意，所有机器的hadoop路径必须一致，因为master会登陆到slave上执行命令，master认为slave的hadoop路径与自己一样。

下面开始配置，配置好了后，把conf 目录scp到所有其他机器。

###3.4 修改6个配置文件
Hadoop的配置文件比较多，其设计原则可以概括为如下两点：

• 尽可能模块化。例如core-xxx.xml是针对基础公共库core的，hdfs-xxx.xml是针对分布式文件系统HDFS的，mapred-xxx.xml是针对分布式计算框架MapReduce的。
• 动静分离。例如，在Hadoop 1.0.0之前，作业队列权限管理相关的配置被放在mapred-site.xml里，而该文件爱你是不可以动态加载的，每次修改后必须重启Hadoop，但从 1.0.0后，这些配置选项被剥离出来放到独立的配置文件mapred-queue-acls.xml中，该文件可以通过Hadoop命令动态加载。在conf下，core-default.xml, hdfs-default.xml和mapred-default.xml是只读的，core-site.xml, hdfs-site.xml和mapred-site.xml才是用户可以修改的。要想覆盖默认配置，就在xxx-site.xml里修改。

以下操作在master上进行。

###3.4.1 conf/hadoop-env.sh
在 conf/hadoop-env.sh里，设置 JAVA_HOME。如果集群中，每台机器的JDK不一定统一安装在同一个路径，那就要在每个节点的hadoop-env.sh里分别设置JAVA_HOME。

export JAVA_HOME=/usr/lib/jvm/java

还要设置HADOOP_PID_DIR，这里我们令其为HADOOP_PID_DIR=/home/hadoop/local/var/hadoop/pids，参考Hadoop的pid配置。

export HADOOP_PID_DIR=/home/hadoop/local/var/hadoop/pids

注意，还要禁用IPv6，用命令cat /proc/sys/net/ipv6/conf/all/disable_ipv6检查一下系统是否启用了IPv6，如果是0,说明启用了。Hadoop在IPv6的情况下运行不正常，因此需禁用IPv6。

不过我们不用真的禁用IPv6，还有另外一种方法，让java优先选择IPv4即可，在conf/hadoop-env.sh 里添加如下一行，

export HADOOP_OPTS="-server -Djava.net.preferIPv4Stack=true $HADOOP_OPTS"

参考Disabling IPv6，以及Web Crawling and Data Mining with Apache Nutch这本书的第66页。

###3.4.2 conf/masters

master

###3.4.3 conf/slaves

slave01
slave02

这里解释一下，masters文件，存放的其实是SecondaryNameNode。关于masters和slaves两个配置文件，更精确的说明见这个StackOverflow答案，hadoop conf/masters and conf/slaves on jobtracker?

###3.4.4 conf/core-site.xml

<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://master:9000</value>
    </property>
    <property>
        <name>fs.checkpoint.dir</name>
        <value>/home/hadoop/local/var/hadoop/dfs/namesecondary</value>
    </property>
</configuration>

Hadoop会自动创建目录。

###3.4.5 conf/hdfs-site.xml

<configuration>
     <property>
         <name>dfs.name.dir</name>
         <value>/home/hadoop/local/var/hadoop/dfs/name</value>
     </property>
     <property>
         <name>dfs.data.dir</name>
         <value>/home/hadoop/local/var/hadoop/dfs/data</value>
     </property>
     <property>
       <name>dfs.replication</name>
       <value>2</value>
     </property>
</configuration>

我们只有2台slave，因此dfs.replication设置为2。

Hadoop会自动在master创建 /home/hadoop/local/var/hadoop/dfs/name 目录，在 slaves上创建 /home/hadoop/local/var/hadoop/dfs/data 目录。

###3.4.6 conf/mapred-site.xml

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>master:9001</value>
    </property>
    <property>
        <name>mapred.local.dir</name>
        <value>/home/hadoop/local/var/hadoop/mapred/local</value>
    </property>
    <property>
        <name>mapreduce.jobtracker.staging.root.dir</name>
        <value>/user</value>
    </property>
</configuration>

###3.5 将配置文件拷贝到所有slaves

$ cd ~/local/opt/hadoop-1.2.1/conf/
$ scp hadoop-env.sh core-site.xml hdfs-site.xml mapred-site.xml masters slaves hadoop@slave01:~/local/opt/hadoop-1.2.1/conf/
$ scp hadoop-env.sh core-site.xml hdfs-site.xml mapred-site.xml masters slaves hadoop@slave02:~/local/opt/hadoop-1.2.1/conf/

###3.6 运行 hadoop
在master上执行以下命令，启动hadoop

$ cd ~/local/opt/hadoop-1.2.1/
#只需一次，下次启动不再需要格式化，只需 start-all.sh
$ bin/hadoop namenode -format
$ bin/start-all.sh

###3.7 检查是否启动成功

在master上执行：

$ jps

2615 NameNode
2767 JobTracker
2874 Jps

在一台slave上执行：

$ jps

3415 DataNode
3582 TaskTracker
3499 SecondaryNameNode
3619 Jps

在另一台slave上执行：

$ jps

3741 Jps
3618 DataNode
3702 TaskTracker

可见进程都启动起来了，说明hadoop运行成功。

###3.8 运行wordcount例子，进一步测试是否安装成功
将输入数据拷贝到分布式文件系统中:

$ cd ~/local/opt/hadoop-1.2.1/
$ bin/hadoop fs -put conf input

运行 Hadoop 自带的例子:

$ bin/hadoop jar hadoop-examples-*.jar wordcount input output

查看输出文件:

$ bin/hadoop fs -ls output
$ bin/hadoop fs -cat output/part-r-00000

如果能看到结果，说明这个例子运行成功。

###3.9 停止 hadoop集群
在master上执行：

$ bin/stop-all.sh

###3.10 （可选）在master上设置环境变量HADOOP_PREFIX，并将HADOOP_PREFIX/bin加入PATH
这一步是为了将bin目录加入PATH，这样可以在任何位置执行hadoop的各种命令。这步是可选的。

Hadoop不推荐使用HADOOP_HOME，你可以试一下，当设置了HADOOP_HOME后，执行bin/start-all.sh，第一行会打印出一行警告信息，Warning: $HADOOP_HOME is deprecated. 应该用HADOOP_PREFIX代替，见邮件列表里的这封邮件。

给所有机器设置环境变量HADOOP_PREFIX，并将$HADOOP_PREFIX/bin加入PATH。

在 ~/.bashrc中添加如下4行：

export HADOOP_PREFIX=$HOME/local/opt/hadoop-1.2.1
export PATH=$PATH:$HADOOP_PREFIX/bin

source使之立刻生效，

$ source ~/.bashrc

##4. 排除错误
本文已经尽可能的把步骤详细列出来了，但是我相信大部分人不会一次成功。这时候，查找错误就很重要了。查找错误最重要的手段是查看hadoop的日志，一般在logs目录下。把错误消息复制粘贴到google，搜索一下，慢慢找错误。

##注意

1. 所有配置文件只能用hostname，不能用IP。两年前我不懂，还为此在stackoverflow上发了帖子。hadoop会反向解析hostname，即使是用了IP，也会使用hostname 来启动TaskTracker。参考hdfs LAN ip address hostname resolution，hadoop入门经验总结- 杨贵堂的博客，hadoop集群配置。
2. 在第2.5步骤，如果出现 SafeModeException 异常，不用担心，等待几分钟即可。因为hadoop刚刚启动时，会进入安全模式进行自检，这需要花点时间。
3. 如果在任何一步失败，可以stop-all.sh, 然后hadoop namenode -format，重试几次，一般可以成功。如果还是不成功，多看看 logs目录下的日志文件，把错误消息复制粘贴到google，搜索答案。

Nutch 2.x 与 Nutch 1.x 相比，剥离出了存储层，放到了gora中，可以使用多种数据库，例如HBase, Cassandra, MySql来存储数据了。Nutch 1.7 则是把数据直接存储在HDFS上。

##1. 安装并运行HBase
为了简单起见，使用Standalone模式，参考 HBase Quick start

###1.1 下载，解压

wget http://archive.apache.org/dist/hbase/hbase-0.90.4/hbase-0.90.4.tar.gz
tar zxf hbase-0.90.4.tar.gz

###1.2 修改 conf/hbase-site.xml
内容如下

<configuration>
  <property>
    <name>hbase.rootdir</name>
    <value>file:///DIRECTORY/hbase</value>
  </property>
  <property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/DIRECTORY/zookeeper</value>
  </property>
</configuration>

hbase.rootdir目录是用来存放HBase的相关信息的，默认值是/tmp/hbase-${user.name}/hbase； hbase.zookeeper.property.dataDir目录是用来存放zookeeper（HBase内置了zookeeper）的相关信息的，默认值是/tmp/hbase-${user.name}/zookeeper。

###1.3 启动

$ ./bin/start-hbase.sh
starting Master, logging to logs/hbase-user-master-example.org.out

###1.4 试用一下shell
$ ./bin/hbase shell
HBase Shell; enter ‘help‘ for list of supported commands.
Type “exit“ to leave the HBase Shell
Version 0.90.4, r1150278, Sun Jul 24 15:53:29 PDT 2011

hbase(main):001:0>

创建一张名字为test的表，只有一个列，名为cf。为了验证创建是否成功，用list命令查看所有的table，并用put命令插入一些值。

hbase(main):003:0> create 'test', 'cf'
0 row(s) in 1.2200 seconds
hbase(main):003:0> list 'test'
..
1 row(s) in 0.0550 seconds
hbase(main):004:0> put 'test', 'row1', 'cf:a', 'value1'
0 row(s) in 0.0560 seconds
hbase(main):005:0> put 'test', 'row2', 'cf:b', 'value2'
0 row(s) in 0.0370 seconds
hbase(main):006:0> put 'test', 'row3', 'cf:c', 'value3'
0 row(s) in 0.0450 seconds

用scan命令扫描table，验证一下刚才的插入是否成功。

hbase(main):007:0> scan 'test'
ROW        COLUMN+CELL
row1       column=cf:a, timestamp=1288380727188, value=value1
row2       column=cf:b, timestamp=1288380738440, value=value2
row3       column=cf:c, timestamp=1288380747365, value=value3
3 row(s) in 0.0590 seconds

现在，disable并drop掉你的表，这会把上面的所有操作清零。

hbase(main):012:0> disable 'test'
0 row(s) in 1.0930 seconds
hbase(main):013:0> drop 'test'
0 row(s) in 0.0770 seconds 

退出shell，

hbase(main):014:0> exit

###1.5 停止

$ ./bin/stop-hbase.sh
stopping hbase...............

###1.6 再次启动
后面运行Nutch，需要把数据存储到HBase，因此需要启动HBase。

$ ./bin/start-hbase.sh
starting Master, logging to logs/hbase-user-master-example.org.out

##2 编译Nutch 2.2.1

###2.1 下载，解压
wget http://www.apache.org/dyn/closer.cgi/nutch/2.2.1/apache-nutch-2.2.1-src.tar.gz
tar zxf apache-nutch-2.2.1-src.tar.gz

###2.2 修改配置文件
参考Nutch 2.0 Tutorial

修改 conf/nutch-site.xml

<property>
  <name>storage.data.store.class</name>
  <value>org.apache.gora.hbase.store.HBaseStore</value>
  <description>Default class for storing data</description>
</property>

修改ivy/ivy.xml

<!-- Uncomment this to use HBase as Gora backend. -->
<dependency org="org.apache.gora" name="gora-hbase" rev="0.3" conf="*->default" />

修改 conf/gora.properties，确保HBaseStore被设置为默认的存储，

gora.datastore.default=org.apache.gora.hbase.store.HBaseStore

###2.3 编译

ant runtime

刚开始会下载很多jar，需要等待一段时间。

有可能你会得到如下错误：

Trying to override old definition of task javac
  [taskdef] Could not load definitions from resource org/sonar/ant/antlib.xml. It could not be found.

ivy-probe-antlib:

ivy-download:
  [taskdef] Could not load definitions from resource org/sonar/ant/antlib.xml. It could not be found.

无所谓，不用管它。

要等一会儿才能编译结束。编译完后，多出来了 build 和 runtime两个文件夹。

第3、4、5、6步与另一篇博客Nutch 快速入门(Nutch 1.7)中的第3、4、5、6步骤一模一样。

##3 添加种子URL

mkdir ~/urls
vim ～/urls/seed.txt
http://movie.douban.com/subject/5323968/

##4 设置URL过滤规则
如果只想抓取某种类型的URL，可以在 conf/regex-urlfilter.txt设置正则表达式，于是，只有匹配这些正则表达式的URL才会被抓取。

例如，我只想抓取豆瓣电影的数据，可以这样设置：

#注释掉这一行
# skip URLs containing certain characters as probable queries, etc.
#-[?*!@=]
# accept anything else
#注释掉这行
#+.
+^http:\/\/movie\.douban\.com\/subject\/[0-9]+\/(\?.+)?$

##5 设置agent名字

conf/nutch-site.xml:

<property>
  <name>http.agent.name</name>
  <value>My Nutch Spider</value>
</property>

这一步是从这本书上看到的，Web Crawling and Data Mining with Apache Nutch，第14页。

##6 安装Solr
由于建索引的时候需要使用Solr，因此我们需要安装并启动一个Solr服务器。

参考Nutch Tutorial 第4、5、6步，以及Solr Tutorial。

###6.1 下载，解压

wget http://mirrors.cnnic.cn/apache/lucene/solr/4.6.1/solr-4.6.1.tgz
tar -zxf solr-4.6.1.tgz

###6.2 运行Solr

cd example
java -jar start.jar

验证是否启动成功

用浏览器打开 http://localhost:8983/solr/admin/，如果能看到页面，说明启动成功。

###6.3 将Nutch与Solr集成在一起

将NUTCH_DIR/conf/schema-solr4.xml拷贝到SOLR_DIR/solr/collection1/conf/，重命名为schema.xml，并在<fields>...</fields>最后添加一行(具体解释见Solr 4.2 - what is _version_field?)，

<field name="_version_" type="long" indexed="true" stored="true" multiValued="false"/>

重启Solr，

# Ctrl+C to stop Solr
java -jar start.jar

第7步和第8步也和Nutch 1.7那篇博客中的7、8步很类似。主要区别在于，Nutch 2.x的所有数据，不再以文件和目录的形式存放在硬盘上，而是存放到HBase里。

##7 一步一步使用单个命令抓取网页
TODO

##8 使用crawl脚本一键抓取
刚才我们是手工敲入多个命令，一个一个步骤，来完成抓取的，其实Nutch自带了一个脚本，./bin/crawl，把抓取的各个步骤合并成一个命令，看一下它的用法

$ ./bin/crawl 
Missing seedDir : crawl <seedDir> <crawlID> <solrURL> <numberOfRounds>

注意，这里是crawlId，不再是crawlDir。

先删除第7节产生的数据，使用HBase shell，用disable删除表。

###8.1 抓取网页

$ ./bin/crawl ~/urls/ TestCrawl http://localhost:8983/solr/ 2

• ～/urls 是存放了种子url的目录
• TestCrawl 是crawlId，这会在HBase中创建一张以crawlId为前缀的表，例如TestCrawl_Webpage。
• http://localhost:8983/solr/ , 这是Solr服务器
• 2，numberOfRounds，迭代的次数

过了一会儿，屏幕上出现了一大堆url，可以看到爬虫正在抓取！

fetching http://music.douban.com/subject/25811077/ (queue crawl delay=5000ms)
fetching http://read.douban.com/ebook/1919781 (queue crawl delay=5000ms)
fetching http://www.douban.com/online/11670861/ (queue crawl delay=5000ms)
fetching http://book.douban.com/tag/绘本 (queue crawl delay=5000ms)
fetching http://movie.douban.com/tag/科幻 (queue crawl delay=5000ms)
49/50 spinwaiting/active, 56 pages, 0 errors, 0.9 1 pages/s, 332 245 kb/s, 131 URLs in 5 queues
fetching http://music.douban.com/subject/25762454/ (queue crawl delay=5000ms)
fetching http://read.douban.com/reader/ebook/1951242/ (queue crawl delay=5000ms)
fetching http://www.douban.com/mobile/read-notes (queue crawl delay=5000ms)
fetching http://book.douban.com/tag/诗歌 (queue crawl delay=5000ms)
50/50 spinwaiting/active, 61 pages, 0 errors, 0.9 1 pages/s, 334 366 kb/s, 127 URLs in 5 queues

###8.2 查看结果

./bin/nutch readdb -crawlId TestCrawl -stats

也可以进HBase shell 查看，

cd ~/hbase-0.90.4
./bin/hbase shell
hbase(main):001:0> scan 'TestCrawl_webpage'

屏幕开始不断输出内容，可以用Ctrl+C 结束。

在运行scan查看表中内容时，对于列的含义不确定时可以查看conf/gora-hbase-mapping.xml文件，该文件定义了列族及列的含义。

##相关文章
Nutch 快速入门(Nutch 1.7)