UCSC Genome Browserからのファイルアクセスに対応したフリーまたは廉価なBAM置き場はありますか

現在、NGS現場の会内の有志と協調して、次世代シーケンサーのチュートリアルをwikiにまとめたりしており、

その一環でマッピング結果の可視化などを行うために、BAMファイルをUCSC Genome Browserでカスタムトラックとして追加する方法についてこちらに記載しているのですが、私の理解が正しければ、BAMファイルや、bigBEDファイルをカスタムトラックとして追加するためには、UCSCのサーバからアクセス可能な場所に BAMファイルとBAIファイルをアップロードしなければならず、特に自由に使用可能な公開ファイルサーバなど手元にないwet系の研究者の方などには敷居が高いように思っております。

最近では、クラウドサービスの普及で、google等、廉価に数ギガバイトのストレージを提供するサービスも多々見受けられます。

もしどなたか、気軽に使用可能でUCSCからのサーバアクセスに対応している(BASIC認証対応のHTTPS経由でURIを指定してファイル単位アクセス可能な)フリー、あるいは廉価なストレージサービスをご存知の方はおられますでしょうか。

ちなみに、MSNのSkyDriveを試してみましたが、ファイルのアクセス時にjavascriptを経由するようなので、無理そうでした。

これ以降は、参考情報です

検証用のデータ

以下に検証用の小さいデータを配置しました。マウスのデータSRRデータをランダムに1000本取り出したデータをBWAデフォルトオプションでmm9にマッピングしたもので"chr1:24,537,471-24,777,916"に張り付きます。以下からダウンロード可能です。bamとbaiを両方ストレージにアップロードする必要があります。

http://cell-innovation.nig.ac.jp/export/public/ucsc_101201/SRX000350_SRR001356_1000.bam
http://cell-innovation.nig.ac.jp/export/public/ucsc_101201/SRX000350_SRR001356_1000.bam.bai

サイズはbamが52KB、baiが1,2MBです。

検証方法

UCSC genome browserにadd trackする場合は、以下の文字列を参考にしてください。bigDataUrlの部分だけ、ストレージサービスの対応する公開URLに置き換えると、UCSCサーバからそのストレージに参照に行くはずです。

track type=bam bigDataUrl="http://cell-innovation.nig.ac.jp/export/public/ucsc_101201/SRX000350_SRR001356_1000.bam" visibility="squish" db="mm9" browser position chr1:24,537,471-24,777,916

認証付きの場合は、add custom tracksの際にUCSCに接続する際にhttpでなくhttpsを指定するようにして、 add tracksする文字列としては以下のように"user:password@"を付加するようにして下さい。 httpsにしないと、ID、パスワードが漏洩しますのでご注意ください。

track type=bam bigDataUrl="https://user:password@server.com/somepath/SRX000350_SRR001356_1000.bam" visibility="squish" db="mm9" browser position chr1:24,537,471-24,777,916

注意

いただいた情報は記載していただいた方のattributionが分かる形でwikiの方に引用させていただきたいと考えておりますので、ご了承いただけますと幸いです。

背景

他にフリーのBAM対応ゲノムビューワがあることは存じておりますが、UCSCには以下のメリットがあると考えています。
UCSCの既存アノテーショントラックの多さのメリット
ローカルに大きなメモリを搭載したPCを用いる必要がないメリット
BAMをBED等に変換すれば、サーバの確保問題は発生しないことも存じておりますが、BAMには以下のメリットがあると考えています。
ミスマッチ、InDel等の情報量の豊富さのメリット。
BAM,bigBEDはランダムアクセス可能なので、トラック追加に時間がかからず、多くのトラックを同時に追加可能であるメリット
参考：BEDの追加方法

その他、リンク先のwikiでお気づきの点へのコメント等もよろしくお願いします。

質問日 Mar 02 '11 at 21:08

nob_fj ♦
507●8●16●28

edited May 19 '11 at 20:28

2 Answers:

回答順最新支持されている順

Can not fully understand the Japanese, so forgive me for this. The Amazon AWS provides free tier including 5 GB storage and also micro EC2 instance, if you need more, 10 GB will just cost 1 USD or something. hope this is useful to you.

回答日 Mar 03 '11 at 00:31

austinlew
1

Thank you for the information. I will confirm if the amazon AWS is avairable for this purpose.

In case it is a useful storage servise for this purpose, I will write tutorial to use it for this purpose.

Please understand that it will take a while for the confirmation.

(Mar 03 '11 at 14:35) nob_fj ♦

You are welcome, just for some additional info for the free tier http://aws.amazon.com/free/

(Mar 03 '11 at 17:06) austinlew

I checked the usage contract of AWS. I'm afraid that this storage servise is seemed to not suit for this purpose because stored data are frequentry accessed by the UCSC genome browser application server.

According to the usage contract of AWS of free trial servise, 20,000 get request are allowed per month in 1 year. I expect that get request from UCSC genome browser to the AWS storage is over 20,000 in few days or weeks.

And I also tried direct access a bam file stored in my AWS account storage from my browser. It failed. The fail may be because of my any inappropriate operation.

(Mar 03 '11 at 20:09) nob_fj ♦

３つの方法を思いつきました。

Dorpbox の公開アクセスフォルダにファイルをおく。例：https://dl.dropbox.com/u/152468/example.txt
ソースコードレポジトリ github.com にファイルをおく。例：https://github.com/nakao/osqa/raw/master/README
Galaxy の公開ヒストリを利用する。例：http://galaxy.dbcls.jp/u/masakazu/h/unnamed-history

どれもテキストファイルとしてアクセスできるアドレスが提供できます。また、どれも無料で利用できる範囲です。github は git コマンドをつかってファイルを配置するので、この目的には敷居が高いかもしれません。

ただし、アクセス制御の認証はありません。

回答日 Mar 03 '11 at 01:01

mn3 ♦♦
515●4●9●22

edited Mar 03 '11 at 02:36

情報ありがとうございます。 "アクセス制御の認証はありません"は、1～3全てにかかるのでしょうか。

私の知る限り、予算をかけて取得したデータを、論文公開前に公開の場所に置くというのは、多くの場合NGだと思うので、引き続きBASIC認証があり、HTTPSにも対応している場所の回答も期待したいと考えております。

公開しても、差し支えないデータについては、1や3を推奨するとして、 3の場合は、open_idがあれば、利用は可能と考えてよろしいでしょうか

また、公開ヒストリの利用のガイドラインなどは、統合TVのGalaxyを使い倒すを参照すれば把握できますでしょうか。 (すみませんまだ見れていません。)

(Mar 03 '11 at 14:59) nob_fj ♦

mn3さんも検証済みかもしれませんがdropboxは、"DropboxPublic"以下に、ソート済み、index作成済みのbamファイルと対応するbaiファイルを配置した後、bamファイルのDrop boxメニューの"Copy public link"でコピーされるURIを以下の要領でtrackに追加すると、ブラウザからのデータ参照ができることが確認できましたのでお知らせします。 track type=bam name="MyBAM1" bigDataUrl="http://dl.dropbox.com/u/9150959/SRX000350_SRR001356_1000.bam" 現在2GBまで無料なので、1run程度であれば使用できると思います。

(Mar 03 '11 at 16:31) nob_fj ♦

上記コメント当初はdropboxの利用が可能だったようですが、現在は同じ処理でアクセスできなくなっているようです。詳しくはこちらの質疑のコメントを御覧ください。

(Mar 08 '14 at 21:05) nob_fj ♦

あなたの回答

プレビューをトグルする

コミュニティー wiki

この質問をフォローする

By Email:

Once you sign in you will be able to subscribe for any updates here

By RSS:

回答

回答とコメント

タグ:

ucsc ×5
bam ×4
genome ×3
browser ×2
ストレージ ×2

質問日: Mar 02 '11 at 21:08

閲覧数: 13,113 回

最終更新日: Mar 08 '14 at 21:05

UCSC Genome Browserからのファイルアクセスに対応したフリーまたは廉価なBAM置き場はありますか

この質問をフォローする

ただいまベータテスト運用中です。そのために通知無くコンテンツの変更やサービスの停止変更されることがあります。

世界に広がるQAサイト

関係した質問