Cloudera CDHの手動インストールとVMクラスタ構築方法

September 14, 2016

Configuration

  • master (namenode, service): cdh-vm1.local
  • slave (datanode, worker): cdh-vm2.local, cdh-vm3.local
  • VM: CentOS 7.2 VirtualBox 4Cores 8GB RAM

Prerequisites

  • 固定IPの設定(VBのBridge Networkを利用)
  • /etc/hosts の編集
<ipaddr 1>    cdh-vm1.local    cdh-vm1
<ipaddr 2>    cdh-vm2.local    cdh-vm2
<ipaddr 3>    cdh-vm3.local    cdh-vm3
  • /etc/yum.conf 内での プロキシサーバーの設定

  • SELinuxの停止(※安全だといえる環境なら…)

    • sed -i -e 's/SELINUX=.*/SELINUX=disabled/g' /etc/selinux/config
    • reboot
  • Firewalldの停止(※安全だといえる環境なら…)

    • systemctl stop firewalld
    • systemctl disable firewalld
  • セットアップ用ユーザーの作成

    • パスワードを同一のものを使う場合: Superuserもしくは、パスワードレスでsudoが利用できるユーザーを作成
      • /etc/ssh/ssh_config
        • StrictHostKeyChecking no
    • 公開鍵認証を使う場合: ssh-keygen enter x 2 cp .ssh/id_rsa.pub .ssh/authorized_keys
      • /etc/ssh/sshd_config
        • PubkeyAuthentication yes
  • VMのリンククローンを行う。

    • MACアドレスはリセットしておく。

… ここまでをVagrant + Ansibleで構築すると楽。

Cloudera CDHの入手

Download CDH 5.8.0 をよく読む

特に、一番簡単なのは、 Installation Path A - Automated Installation by Cloudera Manager (Non-Production Mode) 以下の流れとなる。

  • master への Cloudera Managerのインストール
  • master の Cloudera Manager から、slave へのCDH5.8インストール

master への Cloudera Managerのインストール

wget https://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin
chmod u+x cloudera-manager-installer.bin
sudo ./cloudera-manager-installer.bin

slave への CDHインストール

  • VMを全機立ち上げる
  • master上で、ブラウザから cdh-vm1:7180/cmf/login へアクセスする
  • ライセンス条項を読み、同意
  • 無償版(Express)、有償版(Enterprise)トライアルなどの選択肢が表示されるが、今回は無償版のExpressを選択
  • クラスタのセットアップのために、クラスタに含まれる全ノード(masterも含む)を選択する
  • インストール方法は以下の2つ。後者がおすすめ、とあるが、頻繁にアップデートしない環境の場合、前者でもよい。今回は、色々な都合で前者を選択。
    • Package manager 経由 (RPM, DEB)
    • Cloudera Percel での配布
  • Oracle JDKのインストールに☑を入れる。
  • インストールに使用するユーザーの設定
    • root もしくは NOPASSWD 設定の sudoerユーザー
    • 共通パスワードもしくは公開鍵を指定する
  • 全ノードでManagerおよびCDHのインストールが行われる
  • どのServiceを利用するか選択する
  • どのノードをどの役割(Role)に割り当てるか選択する
    • 今回は初期設定のまま
  • 各種Serviceの詳細設定
    • 今回は初期設定のまま
  • セットアップ状況の検証
  • 完了

©2011-2018 tuxedocat : Built with Hugo