30-11-05 12:30
Najveći prijenos podataka između New Yorka i Tokia pomoću grid tehnologije
piše EMIR IMAMAGIĆ
Ukupno 270 TB podataka preneseno je nedavno od instituta Brookhaven National Labratory (BNL) na Long Islandu (New York) do instituta RIKEN blizu Tokija tijekom izvođenja PHENIX eksperimenta.
Riječ je o eksperimentu iz područja fizike čestica koji se provodi na akceleratoru čestica Relativistic Heavy Ion Collider (RHIC). Suština eksperimenata je naprednim uređajima snimiti situaciju nakon sudara dvaju čestica (u slučaju PHENIX-a su to dva protona). Ovaj tip eksperimenata računalno je iznimno zahtijevan jer su sudari učestali te stvaraju veliku količinu podataka koji se nakon početne obrade i filtriranja šalju na detaljnu računalnu obradu (tzv. offline obrada).
Uobičajeno se offline obrada podataka dobivenih od PHENIX eksperimenta obavlja u računalnom centru RHIC Computing Facility (RCF). Međutim, taj je centar bio zauzet obradom podataka prikupljenih prošle godine, pa su odlučili koristiti računalna sredstva RIKEN-a. Zbog velike količine podataka, prvobitni plan bio je spremati podatke na trake i fizički ih prenositi u Japan. Međutim, u testnom razdoblju ustanovili su kako je podatke moguće prenositi u Japan dediciranom mrežnom vezom brzine od 700 do 750 Mb/s, pa su odlučili podatke izravno prenijeti. Trake su ostavili kao alternativno rješenje u slučaju problema s mrežom.
Prijenos podataka u Japan trajao je neprekidno čak 11 tjedana. Ukupno je preneseno 270 TB podataka ili 6,9 milijardi sudara čestica. Prilikom prijenosa podataka dogodila su se samo dva poludnevna prekida u mreži, pa ni jednom nisu koristili alternativno rješenje. Na slici je prikazan histogram dnevnog prijenosa podataka.
Projekt PHENIX tijekom rada stvara podatke prosječnom brzinom od 250 MB/s, dok je vršna brzina 600MB/s. U normalnom načinu rada podaci su se spremali na 35TB diskovni spremnik i zatim prenosili u RCF na obradu. Kako akcelerator ne stvara podatke konstantno, ukupna prosječna brzina stvaranja podataka je 60 MB/s.
Za prijenos podataka korišten je protokol GridFTP. GridFTP je optimizacija FTP protokola za grid sustave. Neke od osnovnih funkcionalnosti ovog protokola su:
integrirani sigurnosni mehanizmi (Kerberos i Grid Security Infrastructure GSI)
paralelni prijenos podataka otvaranjem više TCP kanala
stripped prijenos podataka – paralelno zapisivanje datoteke u više spremnika podataka
djelomični prijenos velikih datoteka
automatsko podešavanje parametara TCP protokola.
Protokol je opisan u dokumentima: GFD.020, RFC 959, RFC 2228 i RFC 2389.
Eksperiment PHENIX prvi je primjer korištenja grid tehnologije za obradu tako velike količine podataka u produkciji. Naročito važna činjenica je da su računalni stručnjaci bili potrebni samo za početno prilagođavanje sustava prvih nekoliko dana. Ovo je značajan primjer koji ukazuje na zrelost i stabilnost današnjih grid tehnologija.
http://www.cerncourier.com/main/article/45/7/15
http://www.bnl.gov/RHIC/
http://www.phenix.bnl.gov
http://www.acf.bnl.gov
http://www.riken.jp/engn/
http://www.nesc.ac.uk/talks/519/tue/3-GridFTP4Users.ppt
|
