
| 出版日期:2004-10-11 总期号:1354 本年期号:75 |
|
TeraGrid—全球最大的科研平台
TeraGrid介绍 TeraGrid项目将为开放的科学研究建立和部署世界上最大、最全面的分布式基础设施。该项目的开发已持续多年,到2004年底建成以后,TeraGrid将拥有在9个站点上20万亿次(1015)的计算速度、能够管理和存储1PB(1015字节)数据的数据管理机制、高解析度的可视化环境和网格计算工具包。所有资源将通过迄今为止最快的研究网络带宽——40Gbps的专用网络完整地连接起来。 TeraGrid由美国国家科学基金会(NFS)发起,2001年8月资助5300万美元支持四个站点:国家超级计算应用中心(NCSA)、圣地亚哥超级计算机中心(SDSC)、 Argonne国家实验室 (ANL)和高级计算机研究中心(CACR)。 2002年10月,匹兹堡超级计算中心加入,NFS追加35万美元增补资金。2003年9月TeraGrid又增加了四个站点,NSF相应地增加了10万美元。TeraGrid主要的合作伙伴是IBM、Intel和Qwest通信。 TeraGrid兴起 我们可以设想将PB量级的数据联系到一起的情形。例如将多种光学、射电、红外、X射线望远镜观测到的数据和存档的数据联合起来,分析研究早期宇宙的大尺度物质结构的原始信息。设想将多个观测站点得到的实时多普勒雷达数据联合在一起,通过高分辨率天气模型,预测暴风雨的形成和运动。 尽管这些假设的专题涉及到不同的学科领域,但他们都依赖于同一个新的基础设施。这个设施需要将新一代的高分辨率科学仪器、高性能的计算系统、大规模的科学存档数据通过高速的网络和软件设施连接起来。这些基础设施能够让分散在世界各地的研究人员共享资源和数据,共同进行合作研究。 TeraGrid就是针对科学研究中出现的资源共享、合作研究等问题提出来的。它将帮助科学家解决长期以来一直存在的问题,使科学家不局限于常规的超级计算能力和网络,能够将大规模的计算机、科学仪器、不同学科产生的超大数量的数据如基因、地震研究、宇宙学、气候和大气模拟、生物学、高能物理联结在一起。 今天的Internet是由早期的研究网络ARPA网演化而来。TeraGrid将成为科学网格的增长点。通过TeraGrid,国际上不同学科的科学研究小组可以自由地探讨问题,再也不需要关心资源的具体位置问题。TeraGrid将创造一个新的典范,让科学家能够在任何时间、任何地点合作解决世界上最紧迫的科学问题。 TeraGrid计算体系结构 基于Linux开放系统的高性能计算机群和其他开放源码软件是TeraGrid基本的软硬件模块。 2002年7月在商业上应用的Intel的64位安腾II处理器是Linux集群的动力来源。各节点的集群已经具有很强的计算能力,TeraGrid再通过聚合各集群各节点的安腾II处理器,形成了一个能力更加强大的独一无二的并行计算系统。 TeraGrid的主要成员是TeraGrid站点,并且通过40Gbps的广域网络将这些站点连接起来: 1. NCSA提供最大的TeraGrid计算系统。NCSA的TeraGrid集群由Intel的安腾系列处理器提供计算速度大于10Tflops的计算能力,提供大于200T的高性能磁盘存储和大型的三级存储系统。 2. SDSC将提供TeraGrid最主要的数据和知识管理设备。它由峰值达到4Tflops 的安腾机群组成,一个峰值高于1Tflop的IBM Power4机群、500Tbytes的磁盘存储和一个大型的Tertiary存储系统。一个Sun公司的高端服务器将作为网格分布式数据系统的网关。 3. Argonne国家实验室将配置高分辨率的视图和远程可视化能力,一个1.25Tflops的安腾机群为并行可视化提供硬件支持。 4. 加州理工大学(Caltech)致力于在线大型科学数据的收集和访问,将联合紧密的数据应用到TeraGrid。Caltech将配置一个0.4Tflop的安腾机群和相关的二级和三级存储系统。 5.匹兹堡超级计算中心将大于6Tflops的HP/Compaq机群和70Tbytes的二级存储贡献到TeraGrid。 TeraGrid完成后,这个88亿美元的项目将包括大于20Tflops的Linux分布式计算机群,能够管理和存储大于1PT的快速磁盘数据、多个PB量级的三级存储系统、高分辨率的可视化和远程视图系统。所有这些分布式数据和计算设备将通过网格工具和网络紧密联系起来,这个网络建成之初就能够达到40Gbps的速度,比今天最快的研究网络快四倍,大约是普通拨号上网的一百万倍。 TeraGrid的合作者和基础设施 TeraGrid与私人企业和社团一起工作,来集合和部署TeraGrid基础设施。TeraGrid的主要合作者及其主要贡献包括: 1. IBM提供机群集成、存储和相关软件;2. Intel将提供高性能的64位安腾II处理器;3. Myricom提供集群内部网络;4. Oracle提供数据库管理和数据挖掘软件;5. Qwest部署40Gbps的网络来连接各个站点;6. Sun微系统提供元数据管理引擎。 所有的TeraGrid组件与开放源码软件组成了TeraGrid的软件基础设施。Linux为集群管理提供了系统支持;Globus Toolkit作为网格中间件在机群内部软件交互中起到了重要作用,例如远程资源访问的安全和认证、资源调度和管理、分布式数据管理和大范围通信。 TeraGrid现状及应用前景 2004年3月,TeraGrid计算系统有800个安腾处理器运行在Linux平台上。NSCA维护着2003年春天安装的2.7万亿次的集群,SDSC实现了1.3万亿次的集群,此外匹兹堡超级计算中心安装了一套6万亿次、3000个处理器的惠普AlphaServerSC T型计算系统。 TeraGrid的最初两个研究计划是宇宙的星云诞生和地下水污染洁静过程的仿真。最初应用TeraGrid的还有模拟地震实验以及生物分子仿真的科学家。 在今年三月份,TeraGrid高速网络上的节点受到了骇客的攻击,致使SDSC重新启动了登录节点,并将某些已被破解密码的账号暂停了一段时间。此次网络遭受的攻击的意图在于取得计算机的运算能力。可见TeraGrid强大的运算能力和存储资源能力吸引的不仅仅是科研人员。 尽管网络的这次遭遇,是继1990年五角大楼的入侵事件后,影响范围最大的入侵事件,但是TeraGrid仍然在研究人员的努力下不断推进。 在TeraGrid的开发运行当中,各种软件,例如并行处理的软件MPICH、网格中间件Globus等也在不断升级。另外,随着硬件的升级和网络功能的增强,TeraGrid中的软件部分会提供某些新的功能。 科学和工程研究问题,从高能物理到地球科学再到生物学,都在期待着在TeraGrid上进行部署。所有这些项目有几点共同的特征: 1.复杂。这些不同学科的计算模型都需要访问世界上最强大的计算系统。 2.远程访问分布式数据档案,包括从新一代的高分辨率仪器到分布式传感器观测到的数据。 3. 一些有时间限制的课题需要实时访问科学工具或仪器,例如严重的风暴或者超新星的出现。 4. 个人和组织需要在世界范围内开展合作研究。 大规模的研究项目有相似的需求,比如环境模型、天气预报和气候变化研究、天文、生态学和物理。在工业界,例如提供链式管理的项目,分布式决策,甚至高级重型发动机设计都可以从计算网格中获益。 写在最后 网格将分布式计算系统、数据档案、科学仪器和协作系统连接在一起。然而网格真正的力量在于减少和消除时间和空间上的障碍,让研究团体能自然直观地进行研究。TeraGrid的研究在技术上已经取得了很大的进展和突破。是否能够在科学上取得重大的研究成果,有待我们进一步去探索。在现代科学中,技术为科学研究的发现提供了强有力的工具,同时随着科学研究的进一步深入,科研人员对技术也提出了更高的要求。TeraGrid带给研究人员的不仅仅是计算资源、存储资源这一系列的知识,更重要的还有研究方式的改变,同时TeraGrid项目的提出也说明了合作相互交流与资源共享,是当今推进科学进步的有效研究方式。 我们可以设想一个无处不在的信息地球。科学家、研究人员、工程师、生意人和公众将用来发现和与信息技术交互,无须关心网格的技术基础设施。如果能够真正实现,那么全球网格将变成无形的财物,增强和丰富人类的阅历。 有着分布式数据系统、高级高性能计算和通信资源、支持多学科团队合作研究的TeraGrid是实现上述梦想的第一步。它将不仅提供需要处理今天最需要解决的科学工程问题的资源,而且也是将来网格驱动世界的催化剂。 TeraGrid现在已经可以让用户接入并提交一些任务进行测试和使用。详细的申请使用步骤如图。
用户接入TeraGrid |
|||||||||||||||||||||||