導入事例

J-PARC (大強度陽子加速器施設) 様

教育・研究機関

Extremeスイッチの高い信頼性と冗長性を活かし
最先端研究を支える加速器制御ネットワークを実現

お客様の課題

  • 加速器の制御に欠かせない高い安定性・信頼性の確保
  • 研究データの大容量化に対応できるハイパフォーマンス
  • 大規模ネットワーク環境の効率的な運用管理

TEDのソリューション

  • Extreme Networksスイッチの高い冗長性
  • 豊富な知識を持つエンジニアによるサポート
  • 長年の経験に裏打ちされた高い提案力
上窪田 紀彦氏

大学共同利用機関法人
高エネルギー加速器研究機構
東海キャンパス
J-PARCセンター
加速器ディビジョン
理学博士
上窪田 紀彦氏

菊澤 信宏氏

独立行政法人
日本原子力研究開発機構
J-PARCセンター
加速器ディビジョン
博士(工学)
菊澤 信宏氏

大学共同利用機関法人 高エネルギー加速器研究機構と独立行政法人 日本原子力研究開発機構では、大強度陽子ビームを利用して様々な先端研究を行う多目的研究施設「J-PARC」(Japan Proton Accelerator Research Complex:大強度陽子加速器施設)を運用しています。3台の加速器をコントロールする重要な制御ネットワークには、「BlackDiamond」「Summit」をはじめとするExtreme Networks社(以下、Extreme社)製L3スイッチを採用し、高い信頼性と安定性を実現しています。

世界でも有数の規模を誇る最先端加速器施設「J-PARC」

雄大な太平洋を目前に望む茨城県・東海村。その海岸線の一角に、東京ドーム14個分もの敷地を有する広大な研究施設があります。高エネルギー加速器研究機構と日本原子力研究開発機構が共同で建設・運用を行っている最先端研究施設「J-PARC」です。

「J-PARCには、全長約330mの直線加速器『リニアック』と周長約350m・3GeVの加速能力を持つ円形加速器『RCS』(Rapid Cycling Synchrotron)、それに国内最大級となる周長約1600m・30GeVの『MR』(Main Ring)の3つの加速器が設置されています。これらの加速器から生み出される大強度の陽子ビームを標的原子核にぶつけることで、中性子、ミュオン、ニュートリノ、K中間子などの素粒子を作り出し、様々な分野の先端研究に利用しています」(上窪田氏)

「たとえば『MLF』(Materials and Life Science Experimental Facility)と呼ばれる物質・生命科学実験施設では、中性子とミュオンを利用してタンパク質の構造解析や新素材、次世代電池などの研究開発を行っています。また、原子核・素粒子研究を行う『ハドロン実験施設』では、K中間子など(ハドロンと呼ばれる)の素粒子を大量生成することで、宇宙創成の起源や質量が生まれる理由を解明しようとしています。さらに『ニュートリノ実験施設』では、約295km離れた岐阜県飛騨市の山中にあるニュートリノ観測装置『スーパーカミオカンデ』へ向けてニュートリノビームを発射し、その反応を検出、解析することでニュートリノの謎を探っています」(菊澤氏)

このように、一つの施設内に複数の加速器を設置し、基礎科学分野から産業・医療分野まで幅広い領域の研究を行っている施設は世界的にもほとんど例がありません。J-PARCは、まさに21世紀の科学や技術の発展に貢献する最先端研究施設なのです。

加速器制御ネットワークに不可欠の高い冗長性をExtremeで実現

J-PARCの心臓部とも言える加速器は、一度運転を開始すると数週間にわたって連続稼動を行います。もし不測の事態で停止するようなことがあれば、各研究施設で行われている研究にも大きな影響が及びます。このため加速器の運転を支える様々な機器を、正確に制御することが求められています。その重要な役割を担っているのが、J-PARCセンター 加速器ディビジョンです。

「加速器は、大量の電磁石や高周波空洞、各種測定器など様々な設備・機器で構成されていますが、その制御を行うのが我々のミッションです。ユーザーである研究者に対して安定的に陽子ビームを供給すると共に、安全管理にも細心の注意を払っています」(菊澤氏)

「ミリ秒、マイクロ秒といった本当にシビアなタイミングが要求される部分には専用のタイミングシステムやPLC(Programmable Logic Controller)を使用しますが、加速器全体を制御するネットワークはTCP/IPで構築しています。万一、これがダウンするようなことがあると加速器の運転停止に直結しますので、ネットワークの安定性は極めて重要な要素。スイッチなどのネットワーク機器にも極めて高い信頼性、可用性が求められます」(上窪田氏)

この厳しい要件を満たす製品として導入されているのがExtreme社のL3スイッチ製品群です。元々、これほど大規模な加速器施設の制御を、リアルタイム性が保証されないTCP/IPで行うことには議論もあったそうです。しかし、ExtremeのスイッチにはESRP(Extreme Standby Router Protocol)やEAPS(Extreme Automatic Protection Switching)など独自の冗長化プロトコルが実装されており、万一機器に障害が発生した場合も迅速な切り替えが行えます。このメリットが評価され、Extremeは、J-PARCの建設開始当初以来、約10年にわたって活用され続けています。現在J-PARCでは、ネットワークの再構築作業を進めていますが、ここでもExtremeが引き続き採用されています。

「更新時期を迎えた機器群を刷新すると同時に、ネットワークの性能・信頼性をさらに向上させることが今回のリプレースの狙いです。従来は1GbEで環境を構築してきましたが、近年ではMRと中央制御棟間の通信量が約460Mbpsに達するなど、研究データの大容量化が一段と進んでいます。そこで今回は主要幹線の10GbE化を図り、さらなるトラフィック増加にも耐えられる環境を目指しました」(上窪田氏)

J-PARC加速器制御系ネットワーク全体図

ピンチアウトで拡大

充実したサービス・サポート体制で短期構築を強力にバックアップ

今回の再構築プロジェクトでは、中央制御棟のコアスイッチに2台の「BlackDiamond 8900」を導入。3つの加速器が設置された各建屋内の一段目・二段目エッジスイッチ以下には、「Summit X650」「Summit X480」「Summit X650」「Summit X460」などのSummitファミリー製品が合計70台以上導入されています。

これらのスイッチ群はESRPとEAPSで冗長化を行うと同時に、末端スイッチに近い部分まで完全リング化して高信頼・高可用性化を図っています。これにより、エッジスイッチで1秒以下、コアスイッチで5秒以下という高速切り替えが実現。片系の機器に異常が発生したとしても、システムを止めずに運用を継続することが可能です。また、大規模ネットワーク環境の運用監視を効率的に行うために、Extremeの運用監視ツール「Ridgeline」も導入。障害箇所や稼働状況を迅速に把握できるようにしています。

「もし加速器制御ネットワークが切れてしまったら、目隠しで操作を続けるのと同じ状態になってしまいます。機器によっては10秒以上応答がない場合には、安全のために異常信号を出して加速器の運転を停止します。当然スイッチにも10秒以下でのフェイルオーバーが求められるわけですが、Extremeはハードウェアで切り替え動作を行うため、この要件を問題なくクリアできています」(菊澤氏)

J-PARCは広大な敷地を有する大規模施設であることから、ネットワーク機器の更新も数年掛かりの大型プロジェクトになります。とはいえ、加速器の運転を止められる期間は一年間の内のわずかな期間に限られるため、現地での作業には確実さと迅速さが求められました。そこで東京エレクトロンデバイスでは、J-PARCのネットワークを長年にわたり手がけている新日鉄住金ソリューションズと連携して強力な支援体制を確立。事前に別の場所で徹底した検証を済ませた上で導入作業に臨むなど、短期構築をサポートする取り組みを展開しています。 システム構築にまつわるトラブルも皆無というわけではなく、過去にはパーツ不良の問題で複数台の同一モデルが同時障害を起したケースもありました。こうした際には真摯に対応にあたると同時に、同様の事態が二度と起きないよう全力で原因究明と再発防止に取り組んでいます。

「2年後の2015年には更新作業を終える予定ですが、Extremeによる大規模・高可用性ネットワークはJ-PARCにとって水や電気と同じ重要なインフラです。研究データの大容量化もどんどん進んでいくと思いますので、今後も高性能で安定したネットワーク環境を構築・運用していきたいですね」(菊澤氏)

「大量のVLANが存在するなど、ネットワーク運用管理の複雑化も課題になっています。また、過去には空調機の故障による障害といった予期せぬ事態もありましたので、東京エレクトロンデバイスと新日鉄住金ソリューションズには、今後も安定稼動や運用効率化や環境改善に向けた提案、サポートを期待しています」(上窪田氏)

  • 独自の冗長化機能により1秒以下の迅速な切り替えを実現
  • 幹線ネットワークの10GbE化で大量のトラフィックに対応
  • 徹底した事前検証によりリプレース作業時間を短縮

お客様プロフィール

会社名
大強度陽子加速器施設「J-PARC」
本社所在地
茨城県那珂郡東海村白方白根2-4
設立
2008年12月
代表
J-PARCセンター長 池田 裕二郎
WEBサイト
http://j-parc.jp/
大強度陽子加速器施設「J-PARC」

【お客様施設のご紹介】 最先端の研究が進められる大強度陽子加速器施設「J-PARC」

J-PARC (Japan Proton Accelerator Research Complex) は、素粒子物理、原子核物理、物質科学、生命科学、原子力など幅広い分野の最先端研究を行うための陽子加速器群と実験施設群の呼称です。高エネルギー加速器研究機構と日本原子力研究所(現・日本原子力研究開発機構)が共同で提案し、2008年に第一期施設が完成しました。世界に開かれた多目的研究施設であるJ-PARCの特長は、世界最高クラスの陽子ビームで生成する中性子、ミュオン、K中間子、ニュートリノなどの多彩な二次粒子ビーム利用にあります。

記事は 2013年11月 取材・掲載のものです。

「パフォーマンス改善」に関連する製品・サービス