Answers to: bowtie > samtoolsまでをgrid化

Answer by fumumumu

fumumumu — Tue, 18 Jan 2011 11:33:48 +0900

最終的に、以下のようになりました。

xgrid -h localhost -job list > joblist.txt

set -- tr -cd '0-9,' <joblist.txt | tr ',' ' '

for jobid in $*; do

　while true; do

　　jobstatus=xgrid -h localhost -job attributes -id $jobid |grep jobStatus

　　　case $jobstatus in

　　　　@Failed@) eval xgrid -h localhost -job restart -id $jobid;;

　　　　@Running@ ) sleep 120;;

　　　　@Finished@) break;;

　　　esac

　done

アスタリスクがうまく表示できなかったので@に置き換えました。＠をアスタリスクに書き換えてください。シングルバッククォートもうまく表示できてないですね。

　tr -cd '0-9,' <joblist.txt | tr ',' ' '　と　xgrid -h localhost -job attributes -id $jobid |grep jobStatus は、それぞれシングルバッククォートでかこむ必要があります。

fumumumu — Mon, 17 Jan 2011 09:49:24 +0900

どうもありがとうございました。予想外にxgrid環境の構築に手間取りました。同じ道をたどる人がいるかもしれないので、一応書いておきます。

xgridでうごかすコマンドおよびデータはsandboxの中でしか動作させられません。なので、bowtieコマンドは例えば/usr/binに。indexesも同様です。私は/var以下に置きました。
bowtieが扱うような大規模データ(fasstaファイルなど）は、そのままではxgridはうまく扱えません。データを置いたディレクトリをNFSで共有してやる必要があります。私は、/xgrid-shareというディレクトリをコントローラーに作って、そのディレクトリをNFSでexport、エイジェント側にも作った/xgrid-shareにマウントさせました。さらに/xgrid-share以下はsandboxとして設定してやる必要がありました。そして、fasstaファイルは、/xgrid-shareに置くようにしました。
xgridのjob idは、xgrid -h localhost - job list > joblist.txtでとりだし、set -- tr -cd '0-9,' < joblist.txt | tr ',' ' ' でそれぞれの変数にjob idを格納することができました。

ここまできたら、mya_さんのアドバイスを参考に、それぞれのjob idのstatusを調べFinishedかどうかで判定させてやれば、望み通りのことができそうです。いろいろありがとうございます。

mya_ — Wed, 12 Jan 2011 11:30:26 +0900

xgridは大昔に囓った程度なので、あまり自信はありませんが、 xgridに投入したjobのid番号は取得できてそのid番号のstatusも取得できるので、

細かいエラートラブルは自分の目で判断して処理する前提で、投入したジョブのIDの数とstatus "Finished"の数が一致するまでwhile()sleep()のループで回しておく、というのはどうでしょうか。

具体的な実装まではちょっと片手間ではムリです。すいません。

参考にしたページ::