PEACH3の使用方法をまとめる.
PEACH3のセットアップ
まず,zeus,metis起動時にPEACH3のドライバをロードする必要がある.
そのまえに,起動時にPEACH3が正常な状態か確認しなくてはならない.
- PEACH3ボードのLEDが正常に点滅しているか確認する.
- PEACH3のケーブルコネクタのところに12個のLEDがあり,それぞれがN,E,Wのリンク状態を示している.右4つがNであり,その中の右3つが2進数でレーン数を示す.
- 001:x1リンク
- 010:x2リンク
- 011:x4リンク
- 100:x8リンク
- 基本的にx8リンクでないといけない
- 左の1つがリンクスピードを示している.
- 0.5回/秒点滅:gen1リンク
- 2回/秒点滅:gen2リンク
- 4回/秒点滅:gen3リンク
- 基本的にgen3リンクでないといけない
- E,WもNと同様のLEDのひかりかたである.
- 起動後はリンクスピードがgen3になっていない事が多い.起動したままで良いのでPCIeケーブルを抜き差ししていると正しくリンクする事がある.それでもだめならノードごと再起動
- lspci -vvv | grep Alteraの出力を確認する.
- PEACH3がOSから認識されているかを確認する.動かないときはlspciの出力が無い場合がある(PEACH3が認識されていない)
PEACH3が正常に認識されていたら次はドライバをロードする.
ドライバのパスは
/opt/tca/p3driver_ver20151029/script/init-peach3-all.sh
である.
zeusでこのスクリプトを実行するとmetisにsshをしながら様々なスクリプトをsudoで実行する.
そのため何度もパスワードの入力を求められる.
面倒であればsudoersを編集する事でパスワード入力が要らなくなる(セキュリティは低下する)
PEACH3による通信
PEACH3を利用したプログラムを実装する場合
/opt/tca/include
/opt/tca/lib
にあるファイルを利用する.
APIなどの詳細は添付ファイルを参照されたし.
簡単な通信テスト用のプログラムは
kaneda/prog/tca/comm_test
bfs及びcgは
kaneda/prog/graph500/katuta_cuda/test02
kaneda/prog/160205_dev0.2.0_vecpar
にある.