項目介紹
澳大利亞昆士蘭醫學研究院(QIMR)由昆士蘭州政府出資,成立于1945年,是澳大利亞最大和最成功的醫學研究機構之一,并且是全球公認的一流的科研機構。
QIMR有總計有700名科學家、學生和后勤人員,成立有50個獨立的實驗室,包含了6個大類的研究部門:生物學、細胞和分子生物學、遺傳學和計算生物學、免疫學、人口健康以及聯合方案。其研究人員調查了一系列的疾病,包括癌癥、哮喘、艾滋病、瘧疾、子宮內膜異位癥、登革熱的遺傳和環境因素的影響。
挑戰
就像所有的研究設備一樣,QIMR的科學家們需要通過訪問高性能計算(HPC)資源,實現突破性的創新成果。如果沒有最先進的設施,QIMR將無法支持科學家們的尖端項目或吸引最優秀的研究人員。
QIMR的首席信息官Jonathan Davies說:“根據推動生物信息學和統計分析的要求,用戶通常會開始要求更多的計算能力,研究人員需要訪問高性能計算集群來同時處理大量數據集合。而且很快會出現越來越多的用戶請求使用類似的資源。并且我們所談論的是這里大多數的研究部門,而不僅僅是其中的一個兩個。在整個QIMR,這就是我們的科學家科研所需要的工作。”
為了滿足科研的需要,QIMR需要建立一個通過作業管理系統來管理作業調度和優化吞吐量的HPC集群來為所有實驗室提供共享的計算服務。
“對于作業管理系統,最重要一點就是可靠性,我們希望有一個著名的、性能優異的支持系統,讓我們可以依靠它來實現我們的需求。”
圖1 DELL多核服務器
解決方案
在2010年底,QIMR購買了戴爾的多核服務器和存儲構建了HPC集群,通過PBS Works以方便共享為核心服務服務,為研究所的實驗室提供高效計算資源。該集群由戴爾PowerEdge R815服務器和Dell PowerEdge R710服務器構成。
在選擇一個作業管理系統時,QIMR評估了許多商業和開源的系統,當然很多研究機構和研究型大學都有類似的經歷。QIMR的IT團隊對多個系統進行了細致的分析后,包括了大量的產品功能演示,最終選擇了Altair PBS Works。
PBS Works是一套包含作業調度、按需計算、HPC作業管理和分析產品。該套件的旗艦產品,PBS Professional®,是業界使用最為廣泛的HPC作業管理和調度系統。
Jonathan Davies說:“PBS Professional是我們了解的經過實踐檢驗的商業級的系統,它性能可靠,特別是在復雜的環境中,可以為大量分散在許多不同實驗室的研究者提供解決方案。我們也知道我們可以從Altair找到可靠的專家對我們進行支持。”
QIMR同時希望,確保他們的群集可以容易地為研究的擴大而擴展。“PBS Professional是這個場景的理想方案,”Jonathan Davies說,“現在有很多可擴展的作業管理系統,PBS Professional是許多世界TOP500超級計算機在使用的可以擴展到數百數千個核心作業管理系統。”
“最初的集群使用了Torque資源管理系統,但我們發現,需要大量的工作才能支持我們的團隊。”Jonathan Davies說,“因此為了這套系統我們投入了大量的資源進行了系統的維護和培訓。”
IT團隊在2011年安裝了PBS Professional,為用戶提供服務;在2012年,他們把HPC集群移到一個新的專用數據中心,新的HPC提供更多的資源擴展,增強了用戶操作環境,提供了更靈活的電源管理。現在的集群系統,為所有六個部門的遍布世界各地的50名科學家提供服務。PBS Professional管理不同大小和類型的各種作業,為每個研究人員提供了平衡的作業負載并確保每個人所需要的HPC計算資源可用。
結論
“每個人都得益于該系統的使用。”Jonathan Davies說,“我們的科學家現在可以提供更快、更準確的科研成果——我們同時能夠處理更多的數據,并且更加迅捷。研究人員還可以做很多以前無法完成的事情,比如多次運行計算作業或使用更大的數據集合,實現其他方式無法獲得的結果。這套系統帶給我們的價值顯而易見。”
在一個例子中,遺傳學研究工作者們致力于上千基因組項目,他們希望針對大量的基因組數據來進行計算。這種類型的工作以前根本無法完成。
QIMR的科學家們已經發現PBS Professional對于提交HPC作業來說是一個易于使用且功能強大的工具。Jonathan Davies的報告指出,一組以前從來沒有用過類似PBS Professional產品的用戶,能夠非常快速的在不到1周的時間內開始運行自己的作業,就像QIMR的資深用戶一樣。
“使用PBS Professional系統是非常簡單的。作為一個用戶,我在開始使用HPC之前感到有些害怕,PBS Professional可以很容易地運行HPC作業,并給我一些指導,我現在發現通過集群運行作業是一件非常容易的事情。”生物統計學家Leesa Wockner說,他在QIMR/RBWH部門的統計部門工作。
“以前,我們的科學家們在各自的工作站上運行他們的計算進程,這樣可能需要幾個星期才能得到他們所需要的結果,”Jonathan Davies說,“現在作業的周轉時間只需幾個小時或幾分鐘。”
即使是遺傳學和計算生物學部門,他們曾經自己維護著一套Condor的集群,目前也已經切換到了PBS Professional系統進行管理。
“中央集群的最大特點是速度更快,并且研究人員有更多的可用計算資源”統計遺傳學實驗室研究助理Yi Lu說。
QIMR的系統管理員喜歡的是PBS Professional易于管理的作業調度系統,提供了任務和資源管理的靈活控制。
隨著越來越多的研究人員了解到這套共享系統的可用性和對用戶的好處,QIMR計劃擴大集群的規模。
在一個例子中,系統神經科學實驗室的運行MATLAB作為其心理健康研究的一部分。“MATLAB為我們提供了一個易于使用的界面包括了GPU計算和與PBS Professional的通訊使用,使我們能夠便利地從臺式機轉到利用的機群的資源,而無需重新編寫所有的代碼。”在實驗室的博士生Anton Lord說,“這為我們節省了時間和精力。”
部分計算需從中央集群擴展到多個節點,需要判斷用戶的需求,如NVIDIA特斯拉通過Altair的系統調用中央戴爾的系統。“戰略上,我們選擇一個支持GPU(圖形處理器)的作業管理系統,”Jonathan Davies解釋。
QIMR期望PBS Works成為他們的HPC增長所選平臺,為醫學研究提供全球頂級的計算環境。
核心關注:拓步ERP系統平臺是覆蓋了眾多的業務領域、行業應用,蘊涵了豐富的ERP管理思想,集成了ERP軟件業務管理理念,功能涉及供應鏈、成本、制造、CRM、HR等眾多業務領域的管理,全面涵蓋了企業關注ERP管理系統的核心領域,是眾多中小企業信息化建設首選的ERP管理軟件信賴品牌。
轉載請注明出處:拓步ERP資訊網http://www.lukmueng.com/
本文標題:PBS Professional助力QIMR提升HPC能力和支持高質量的研發能力
本文網址:http://www.lukmueng.com/html/solutions/14019315309.html