Cloudera CDH 5.8 Quickstart VMで予備の開発環境を作ったときのメモ

September 14, 2016

ダウンロード

http://www.cloudera.com/downloads/quickstart_vms/5-8.html

現在は各種仮想環境用にイメージが用意されている。

  • Virtual Box
  • VMWare
  • KVM
  • Docker Container (Clusterdock)

今回は単一ノードでの検証用かつSparkコード開発用に、VirtualBoxのVMをダウンロードした。 CDH5.8の場合は、CentOS6.7だった。

セットアップ

特になし。

Caveats

Static IP

Quickstart VMはデフォルトでは NAT インターフェースしか持たない。 また、マシンのIPは固定されている。(10.0.2.15) 仮にNetworkManagerで固定IPを設定しても、 /etc/hosts は上記のものに書き換えられてしまう。

Static IPを設定したかったので、以下のことを試した。

  • どこで設定されているのか

    • /etc/init.d/cloudera-quickstart-init 内で cloudera-quickstart-ip コマンドが実行されている
    • which cloudera-quickstart-ip -> /usr/bin/cloudera-quickstart-ip
    • /usr/bin/cloudera-quickstart-ip
      • 第一引数に与えられたIPがあればそれを使用する。
      • 引数なしの場合、eth0, eth1, eth2の順に IPが付与されているものがあればそれを使う。
      • IPが決まれば、/etc/hostsを編集する。上記でIPが定まらなかった場合、127.0.0.1 を使う。
      • 単一ノードクラスタとするために、manager と workerは同一ノードである。上記で決定したIPを /var/lib/cloudera-quickstart/tutorial/js/config.js に反映する。
  • どうすればよいか

    • VirtualBoxで Bridge Network を追加し、VM上で利用できるようにする。
      • CentOS6 なので、service NetworkManager stop chkconfig NetworkManager off をして、手動で設定してもいいかもしれない。
    • /etc/init.d/cloudera-quickstart-init 内で cloudera-quickstart-ip コマンドに引数として 設定した Static IP を与える。
    • reboot
    • 起動後、Cloudera Manager の Management Service の Status が “Reconfiguration Required” みたいな状態になっている場合は、反映して、(webコンソールからクラスタを)再起動

©2011-2018 tuxedocat : Built with Hugo