Stefano Bagnasco


Download 10.77 Mb.
Pdf ko'rish
Sana22.12.2019
Hajmi10.77 Mb.

VIRGO and Gravitational Waves

computing in Europe



Stefano Bagnasco |INFN Torino

Stefano Bagnasco - INFN Torino

VIRGO and Gravitational Waves computing in Europe - 2/3475

virgo


Stefano Bagnasco - INFN Torino

VIRGO and Gravitational Waves computing in Europe - 3/3475

worldwide network

India

(2022)

Hanford

Livingston

EGO

Kamioka


Stefano Bagnasco - INFN Torino

VIRGO and Gravitational Waves computing in Europe - 4/3475

Looking for...

Burst sources:

l

Compact Binary Coalescence



n

Coalescing Compact Binary Systems (Neutron Star- NS, Black Hole-NS, BH-BH): Strong emitters, 

well modelled 

l

Unmodeled transient bursts



n

Asymmetric Core Collapse Supernovae: weak emitters, not well-modelled (‘bursts’), transient 

n

Cosmic strings, soft gamma repeaters, pulsar glitches 



Continuous sources:

l

Continuous stochastic background



n

Cosmological stochastic background (residue of the Big Bang, cosmic GW background, long 

duration) 

n

Astrophysical stochastic background 



l

Continuous waves 

n

Spinning neutron stars (known waveform, long/continuous duration) 



Stefano Bagnasco - INFN Torino

VIRGO and Gravitational Waves computing in Europe - 5/3475

multimessenger astronomy

“M

u



lt

i-

m



es

se

n



ge

r O


bs

er

v



at

io

n



s o

f a


 B

in

ar



y

 N

eu



tr

on

 



S

ta

r M



er

ge

r”



B

. P


. A

bb

ot



et

 a



l. 

20

17 



Ap

J

L



8

4

8



 L

1

2



 

doi


:1

0

.3



8

4

7



/2

0

4



1

-82


13/

aa

91c



9

Stefano Bagnasco - INFN Torino

VIRGO and Gravitational Waves computing in Europe - 6/3475

low latency searches

Sky

localization

Public

Alert

Low-latency

searches

GW

candidate

Detector sanity, Data 

Quality, localization,…

Event


validation

A few

minutes

½ hour

Hours, 

days

l

Parameter estimation



l

GW Candidate Update



On

-si

te

Of

f-

si

te

Stefano Bagnasco - INFN Torino

VIRGO and Gravitational Waves computing in Europe - 7/3475

ligo

virgo timeline

Jo

va



n

 de


n

Bra


n

d

 –



jo

@

n



ik

h

ef



.n

l

10



2

CBC det./yr

10

3

CBC det./yr



10

4

CBC det./yr



Stefano Bagnasco - INFN Torino

VIRGO and Gravitational Waves computing in Europe - 8/3475

Data!

Raw Data, 1PB/yr:

l

Full Bandwidth Raw, not exported (7.5-10 TB/day)

l

Raw Data: downsampled, calibrated and uncalibrated h(t) (3-4 TB/day) 

l

A few levels of reduced data sets for various uses



Data for physics, ∼ 5TB/yr/detector: 

l

Virgo h(t): calibrated «strain» data



n

sampled at 10 KHz, as ∼1kSec frame files

n

Includes state vector (data quality flags, vetoes,…) 



l

LIGO h(t)

n

Copied online to EGO for low-latency searches and exported to CCs for offline analysis



l

KAGRA h(t)

n

Coming soon…



ℎ 𝑡 =

1

𝑅



2𝐺

𝑐

*



̈𝐼 𝑡

Stefano Bagnasco - INFN Torino

VIRGO and Gravitational Waves computing in Europe - 9/3475

ccs and simplified data flows

Low-latency 

data 

transfer

Bulk Raw & RDS data

h(t) to 

everywhere

Bulk RDS data


Stefano Bagnasco - INFN Torino

VIRGO and Gravitational Waves computing in Europe - 10/3475

boundary conditions

l

Many activities still based on legacy architectures, heterogeneous 



environment, custom tools that 

increase the management and 

maintenance burden 

on a small community

l

Analysis pipelines are very heterogeneous (Matlab, Phython, 



C++,…) and often tightly 

coupled to a specific running 

environment 

(Grid submission, HTCondor cluster, shared disk,…)

l

As a consequence of this, there is 



no clear boundary between 

«middleware» and analysis code 

proper and little or no common 

framework

l

Single-interferometer data have no or 



very little scientific use

Stefano Bagnasco - INFN Torino

VIRGO and Gravitational Waves computing in Europe - 11/3475

way forward

Need to define and deploy a common and sustainable GW 

computing environment

l

Provide a 



uniform runtime environment

for offline pipelines

l

Full interoperability



between Virgo, LIGO (and KAGRA)

l

Provide scalability and the 



opportunity to exploit heterogeneous resources

l

Adopt



mainstream, widely used tools

, leveraging upon HEP experience

Enter

IGWN

– the International Gravitational Waves

observatories Network

l

A coordination effort aimed at jointly discussing the computing policy, 



management, and architecture issues of LIGO, Virgo, and KAGRA.

l

Caveat: this (partial) summary sees things from the Virgo point of view!



Stefano Bagnasco - INFN Torino

VIRGO and Gravitational Waves computing in Europe - 12/3475

shopping list

Bulk data transfer

Safely transfer all data to custodial storage in CCs



Software packaging and distribution 

Make pipeline software available ubiquitously



Data distribution

Make h(t) data available to worker nodes anywhere



Data cataloguing and bookkeeping

Organize all data and metadata and provide querying capabilities



Workload management

Provide a uniform job submission and runtime environment



High-level workload orchestration

Keep a database of all jobs and allow the enforcement of priorities



Monitoring and accounting

Monitor distributed computing and provide reliable accounting



Stefano Bagnasco - INFN Torino

VIRGO and Gravitational Waves computing in Europe - 13/3475

cvmfs and stashcache for data distribution

l

Currently no «data catalogue» like the ones most HEP 



experiments use

n

Metadata encoded in PFNs



n

Data discovery through custom tool scanning filesystems

l

CVMFS used to export a filesystem-like namespace and provide



uniform access to h(t) data

n

Authenticated access trough OSG-developed x.509 plugin



n

«External data» feature + client plugin used to read actual bytes from…

l

StashCache as Content Delivery Network



n

xCache-based cache hierarchy, http protocol

n

see e.g. I. Sfiligoi’s



presentation

on Tuesday

n

Currently two instances in the EU: UvA (production), CNAF (under test)



Stefano Bagnasco - INFN Torino

VIRGO and Gravitational Waves computing in Europe - 14/3475

rucio for data management

l

Step 1: use Rucio to manage bulk raw data transfer to custodial

storage

n

See also M. Lassnig’s



presentation

on Monday

n

HA deployment studies



n

Multiple checksum algorithms fix

l

Step 2: use it as a full-fledged Data Catalogue (under discussion) 

n

Possibly with a federated architecture



n

Another possible development: POSIX mount to replace CVMFS (kicked

off at last Rucio Code Camp at CERN)


Stefano Bagnasco - INFN Torino

VIRGO and Gravitational Waves computing in Europe - 15/3475

overall picture: data

Local activities @ EGO omitted and only one CC for clarity

Low-latency

data transfer

Bulk

data transfer

CNAF

xCache

A Fancy 

Site

Another 

Fancy Site

CVMFS + 

Caching

Bulk data

transfer

Or hierarchy 

thereof


Stefano Bagnasco - INFN Torino

VIRGO and Gravitational Waves computing in Europe - 16/3475

htcondor for job management

Use HTCondor as a uniform job submission layer

l

To local HTCondor clusters if needed



n

Some pipelines already rely on HTCondor DAGs for dependencies

l

To common Condor Pools 



n

Exploit Grid resources through GlideIn pilots

l

To on-demand HTCondor Virtual Clusters



n

Through DoDAS Distributed on-Demand Analysis Services

n

Exploit heterogeneous or opportunistic resources



n

Cater to special needs like off-site low-latency searches



Stefano Bagnasco - INFN Torino

VIRGO and Gravitational Waves computing in Europe - 17/3475

overall picture: jobs

*

Here magic happens: see S. Dal

Pra’s presentation on Monday

A Fancy 

Site

A Grid 

Site

DoDAS*

Local activities @ EGO omitted and only one CC for clarity

Virtual Clusters “as-a-Service”

(Possibly also for off-site low-latency searches)

Through 


GlideIn pilots 

Stefano Bagnasco - INFN Torino

VIRGO and Gravitational Waves computing in Europe - 18/3475

where are we?

Bulk data transfer

Rucio


Software packaging and distribution 

CVMFS ( + Conda + Singularity)



Data distribution

CVMFS (but see above) + StashCache



Workload management

HTCondor and, possibly, DoDAS



Data cataloguing and bookkeeping

Probably Rucio again



High-level workload orchestration

Possibly DIRAC, custom tools if it’s an overkill



Monitoring and accounting

TBD, maybe DIRAC again?

Mostly decided except 

implementation 

details, under deployment 

or active development

Not an immediate

priority


Up next?

Stefano Bagnasco - INFN Torino

VIRGO and Gravitational Waves computing in Europe - 19/3475

conclusions

l

GW computing (in EU and elsewhere) is making a significant step 



forward towards organized computing

l

IGWN means a coordinated and common infrastructure between 



the collaborations

l

The adoption of common mainstream solutions like HTCondor or 



Rucio also means GW joins the larger physics computing 

community



l

…which bodes well for the proposed 3G interferometers



computing effort in a decade from now.


Download 10.77 Mb.

Do'stlaringiz bilan baham:




Ma'lumotlar bazasi mualliflik huquqi bilan himoyalangan ©fayllar.org 2020
ma'muriyatiga murojaat qiling