September 14, 2016

Cloudera CDH 5.8 Quickstart VMで予備の開発環境を作ったときのメモ

ダウンロード

http://www.cloudera.com/downloads/quickstart_vms/5-8.html

現在は各種仮想環境用にイメージが用意されている.

  • Virtual Box
  • VMWare
  • KVM
  • Docker Container (Clusterdock)

今回は単一ノードでの検証用かつSparkコード開発用に,VirtualBoxのVMをダウンロードした. CDH5.8の場合は,CentOS6.7だった.

セットアップ

特になし.

Caveats

Static IP

Quickstart VMはデフォルトでは NAT インターフェースしか持たない. また,マシンのIPは固定されている.(10.0.2.15) 仮にNetworkManagerで固定IPを設定しても, /etc/hosts は上記のものに書き換えられてしまう.

Static IPを設定したかったので,以下のことを試した.

  • どこで設定されているのか

    • /etc/init.d/cloudera-quickstart-init 内で cloudera-quickstart-ip コマンドが実行されている
    • which cloudera-quickstart-ip -> /usr/bin/cloudera-quickstart-ip
    • /usr/bin/cloudera-quickstart-ip
      • 第一引数に与えられたIPがあればそれを使用する.
      • 引数なしの場合,eth0, eth1, eth2の順に IPが付与されているものがあればそれを使う.
      • IPが決まれば,/etc/hostsを編集する.上記でIPが定まらなかった場合,127.0.0.1 を使う.
      • 単一ノードクラスタとするために,manager と workerは同一ノードである.上記で決定したIPを /var/lib/cloudera-quickstart/tutorial/js/config.js に反映する.
  • どうすればよいか

    • VirtualBoxで Bridge Network を追加し,VM上で利用できるようにする.
      • CentOS6 なので,service NetworkManager stop chkconfig NetworkManager off をして,手動で設定してもいいかもしれない.
    • /etc/init.d/cloudera-quickstart-init 内で cloudera-quickstart-ip コマンドに引数として 設定した Static IP を与える.
    • reboot
    • 起動後,Cloudera Manager の Management Service の Status が “Reconfiguration Required” みたいな状態になっている場合は,反映して,(webコンソールからクラスタを)再起動

©2011-2018 tuxedocat