手元のWindows PCのWeb Browser から ABCI の tensorflow, keras, jupyter notebook を利用できるようにするための備忘録。
Python の仮想環境を用いる。
Windows 10 PC
まず、Windows PC での準備をする。
説明のためのPowerShellの前提
カレントディレクトリ
ユーザのホームディレクトリで作業する。
PowerShell を管理者権限以外で起動するとカレントディレクトリはホームディレクトリになっているはず。
管理者権限でPowerShellを起動した場合には以下のコマンドを実行する。
|
1 |
cd ~ |
Windows Terminal
Microsoft Store からインストール済みとする。
公開鍵と秘密鍵の生成
手元のPCで、sshの公開鍵認証のための鍵をエドワーズ曲線デジタル署名アルゴリズム ed25519 によって生成する。
下記の操作で以下の２つのファイルが生成される。パスフレーズを入力する。
秘密鍵 ~/.ssh/id_ed25519_ABCI_key
公開鍵 ~/.ssh/id_ed25519_ABCI_key.pub
|
1 2 |
mkdir .ssh ssh-keygen -t ed25519 -f ~/.ssh/id_ed25519_ABCI_key -C "ABCI" |
ssh-keygenのオプションの意味は以下の通り。
-t は、署名アルゴリズムを指定するオプション
-f は、生成するファイル名を指定するオプション
-C は、コメントを指定するオプション
公開鍵を ABCI に登録
https://docs.abci.ai/portal/ja/02/#23 に従って公開鍵 ~/.ssh/id_ed25519_ABCI_key.pub をアップロードして登録する。
~/.ssh/config の設定
https://docs.abci.ai/ja/02/ に従って、手元のPCで ~/.ssh/config を設定する。User の行の axx12345xx は ABCIのユーザアカウント名に($env:abci_user の値と同じになるように)変更が必要である。
|
1 2 3 4 5 6 7 8 |
Host abci HostName es User axx12345xx ProxyCommand C:\WINDOWS\System32\OpenSSH\ssh.exe -W %h:%p %r@as.abci.ai IdentityFile ~/.ssh/id_ed25519_ABCI_key Host as.abci.ai IdentityFile ~/.ssh/id_ed25519_ABCI_key |
ABCI へのログイン
先に示した ~/.ssh/config が設定してあれば、次のコマンドでインタラクティブノードにログインできる。
|
1 |
ssh abci |
パスフレーズを2回入力する必要がある。１回はABCIのアクセスサーバーのため、もう１回は、インタラクティブノードのため。
ABCIでは、アクセスサーバー、インタラクティブノード、計算ノードでファイルシステムが共有され、同じ鍵が用いらる。
ABCIでの設定
https://docs.abci.ai/ja/tips/jupyter-notebook/ に従って設定する。
python仮想環境の生成
インタラクティブノードにログインした状態で以下のコマンドを実行して仮想環境 ~/venv/jupyter-tensorflow-keras を作成する。
|
1 2 |
module load python/3.6/3.6.5 cuda/10.0/10.0.130.1 cudnn/7.4/7.4.2 python3 -m venv ~/venv/jupyter-tensorflow-keras |
仮想環境の設定
仮想環境の有効化
仮想環境 ~/venv/jupyter-tensorflow-keras を有効化する。
|
1 |
source ~/venv/jupyter-tensorflow-keras/bin/activate |
仮想環境への tensorflow、keras、jupyter のインストール
有効化した仮想環境で必要なモジュールをインストールする。必要とするモジュールによって必要なものは異なる。以下はあくまで例である。
tensorflowでGPUを用いるために tensorflow-gpu を指定しており、keras もインストールしている。
jupyter notebook も利用するので、 jupyter もインストールしている。
他に、numply、sklearn、matplotlibもインストールしているが、使わないのであればインストール不要である。
(2020年12月19日)以下のバージョンの組み合わせではGPUが利用されない。不適切なので使うべきではない。
(2020年12月20日)以下の tensorflow-gpu と keras のバージョンの組み合わせでGPUが利用されるようである。ただし、警告が出る。
|
1 2 3 |
pip3 install --upgrade pip setuptools # pip3 install tensorflow-gpu==2.2 keras jupyter numpy==1.16.4 sklearn matplotlib pip3 install tensorflow-gpu==1.13.1 keras==2.2.4 jupyter numpy==1.16.4 sklearn matplotlib |
Jupyter Notebook から計算ノードの利用
手元の Windows 10 PCで、３つのターミナルを利用する。
環境変数
始める前に、以下の環境変数の設定がされているとする。
PowerShellの環境変数
ABCIのユーザやグループなどは個人によって異なるので、以下の説明では、手元のPCで次のPowerShellの環境変数が設定されているとする。
|
1 2 3 |
$env:abci_user = "axx12235xx" $env:abci_group = "gxx12345" $env:abci_key_file = "~/.ssh/id_ed25519_ABCI_key" |
$env:abci_user は、ABCIアカウント名である。
$env:abci_group は、ABCIグループ名である。
$env:abci_key_file は、ABCIとの通信の際にSSHで利用する認証のための秘密鍵ファイル名である。
上記スクリプトを .\ABCI.ps1 として保存し、それを実行することもできる。
ただし、スクリプトを実行できるようにする設定が必要である。
管理者権限で次のコマンドを実行すれば、ローカルファイルの実行は許可される。
|
1 |
Set-ExecutionPolicy RemoteSigned |
ABCI の bash の環境変数
ABCIの bash でも環境変数を設定しておく。~/.bash_profile に以下を追加して、ログイン時に設定されているものとする。
|
1 2 |
export ABCI_USER="axx12345xx" export ABCI_GROUP="gxx12345" |
ABCIで利用しているshellがbash 以外なら、適宜修正が必要になる。
ABCI アクセスサーバーへのPort forwarding
１つ目のターミナルで、Windows 10 PC から ABCI アクセスサーバーへのport forwarding の指定をする。
|
1 |
ssh -L 10022:es:22 -l ${env:abci_user} as.abci.ai |
パスフレーズを１回入力する必要がある。
localhost の 10022番port を アクセスサーバーの22番(ssh)に forwarding する。ポート番号は10022である必要は必ずしもないが、ここを変更したらこれ以降の10022も変更する必要がある。
Jupyter Notebook Serverの起動
2つ目のターミナルで、まず、Windows 10 PC からABCI インタラクティブサーバーにログインする。
１つ目のターミナルで設定したPCとアクセスサーバー間のトンネルと同じトンネルが張られて２本になり、パスフレーズを２回入力する必要があるので無駄な感じがあるが、以下のようにするのが簡単であろう。
|
1 |
ssh abci |
無駄が気になるようなら、次のようにコマンドを手打ちしてもよい。
|
1 |
ssh -i ${env:abci_key_file} -p 10022 -l ${env:abci_user} localhost |
必要があれば、~/.ssh/config に設定を追加する。
次に、インタラクティブサーバーから計算ノードに接続する。
|
1 |
qrsh -g ${ABCI_GROUP} -l rt_G.small=1 # execute |
計算ノードで次のコマンドを実行して 仮想環境に入る。
|
1 2 |
module load python/3.6/3.6.5 cuda/10.0/10.0.130.1 cudnn/7.4/7.4.2 source ~/venv/jupyter-tensorflow-keras/bin/activate |
計算ノードのホスト名を必要に応じて調べる。
|
1 |
hostname |
ここで表示される g1234.abci.local の中のg1234などの計算ノード名を $env:abci_node としてこれ以降では参照する。
Windows Terminal を使っていれば、タブのタイトルにノード名が示されるので、hostnameを実行しておく必要は必ずしもない。
仮想環境で Jupyter Notebook Server を起動する。
|
1 |
jupyter notebook --ip=`hostname` --port=8888 --no-browser |
次の赤枠で示される、http://127.0.0.1:8888/?token=… を後で利用する。
Jupyter Notebook Serverとの通信のためのPort Forwarding
３つ目のターミナルで、Windows PC からJupyter Notebookが利用するポート 8888 にアクセスした際に、計算ノードのポート 8888 に転送されるように設定する。
localhostのポート8888のアクセスが計算ノードの8888に転送されるようにする。既に設定済みの localhostのポート10022からアクセスサーバーのポート22番のトンネルを介して転送される。
次のコードでは${abci_node}で示す計算ノードのホスト名が必要になるが、Jupyter Notebook Serverを起動したWindows Terminalのタブにホスト名が示されているのでそれを指定する。次の "g1234" を変更する必要がある。
|
1 2 |
$abci_node="g1234" ssh -N -L 8888:${abci_node}:8888 -l ${env:abci_user} -i ${env:abci_key_file} -p 10022 localhost |
パスフレーズを入力して、計算ノードにつなぐ。
本来なら $env:abci_node が自動的に設定されるようにしたいが、異なるPowerShell間で情報の受け渡しが必要になるので、Windows Terminal ではうまくできない。
Web BrowserからJupyter Notebook Serverへのアクセス
Jupyter Notebook Serverを起動時に表示された http://127.0.0.1:8888/?token=???? の形式のURLを Web Browserからアクセスする。
この例では、URLは、http://127.0.0.1:8888/?token=714e57991e37c35e941556bd59f6a381a81863c13973715f
Jupyter Notebookのファイル表示がされればうまくアクセスできるようになったことになる。
