Studio della Fisica delle Emulsioni tramite l'utilizzo di Calcolo ad Alte Prestazioni

In this project we employed highly optimized codes, based on the multicomponent Lattice Boltzmann model (LBM), to explore the physics of complex fluids in 3-dimensions. We first implemented an LBM based application which delivers good scaling performances on distributed systems while optimising the memory access through a data organisation that enables high computing efficiency. In particular, we first introduced and then deeply analysed, two new clustered data layouts which, enhancing compiler vectorizazion, demonstrated to deliver high-performance on modern x86-64 CPUs, if compared with legacy data layouts typically adopted for LBM based codes such as arrays of structures (AoS) or structures of arrays (SoA). This work aided the award of two PRACE projects for approximately hundreds of millions of core-hours distributed among two major European Tier-0 systems for high-performance computing such as the Marconi at CINECA and the MareNostrum at the Barcelona Supercomputing Centre (BSC). We performed a detailed analysis of the computing performance and energy efficiency on both the CPU systems which equipped those supercomputers: the Intel KNL and the more recent Intel Skylake processor, respectively. In the ultimate stage of the project we also extended the implemented model to run on multi-GPU distributed systems such as the Marconi-100 at CINECA. We implemented and validated the well-established Shan-Chen multicomponent LBM with second neighbour coupling. This allows to model the dynamics of two immiscible fluids characterized by a surface tension as well as by a disjoing pressure between them. The emulsion is stirred via a large scale forcing mimicking a classical stirring often used in spectral simulation of turbulent flows. With the implemented numerical models, we started to explore the physics of complex fluid emulsions: from the phase of turbulent stirring where the emulsion is produced, to the resting phase where the resulting emulsion is in jammed state. In particular, we performed several simulations to achieve a first qualitative measurements on the morphology of the system (i.e., number of droplets, average volume of the droplets, average surface, PDFs of volume and surface) as well as some initial estimation of the energy. We made the analysis at different volume fractions and by pushing the dispersed phase up to about 80%, limit reported by experiments. We observed how the resulting highly-packed emulsions bring up rich phenomenology showing non-spherical droplets, and while presenting feature of a solid in resting phase but still flowing as a fluid if subjected to a forcing. We have analysed the behaviour of the system looking at both, the influence of the flow on the morphology, by stirring at different forcing amplitudes, and the influence of morphology on the flow, by performing Kolmogorov rheology tests on jammed emulsions at different volume fractions. Emulsions are remarkable systems presenting an extremely interesting phenomenology but at the same time being really fragile. Indeed, we have experimented the difficulties of finding the equilibrium between the rate of pushing higher volume fraction and the correct stirring amplitude to achieve turbulence without facing the problem of catastrophic phase inversion. In the second part of the project we engineer and added to the implemented LBM based code a method for tracking all droplets present in a 3-dimensional emulsion at high-resolution, obtaining a Lagrangian profile of all droplets in the dispersed phase of the emulsion both when exposed to large-scale stirring and when the forcing is turn off

In questo progetto di tesi abbiamo utilizzato codici altamente ottimizzati, basati su metodo Lattice Boltzmann (LBM), per studiare la fisica di fluidi complessi in 3-dimensioni. Inizialmente, abbiamo sviluppato una applicazione che scala su decine di migliaia di processori, e che implementa un metodo altamente ottimizzato ed efficiente di accesso ai dati in memoria. In particolare, abbiamo ingegnerizzato ed analizzato in dettaglio due nuove strutture dati, aumentando significativamente le potenzialità di vettorizzazione del codice da parte del compilatore, rendendo il codice binario risultante molto più efficiente su architetture basate su tecnologia x86-64, soprattutto se confrontate con strutture dati più comuni come array di strutture (AoS) o strutture di array (SoA). Questo lavoro innovativo nell'ambito di codici basati su LBM, ha consentito di aggiudicarsi due progetti PRACE per centinaia di migliaia di ore calcolo su sistemi HPC europei di tipo Tier-0, come il sistema Marconi CINECA) ed il sistema MareNostrum (BSC). A completamento del lavoro di implementazione, abbiamo anche effettuato una accurata analisi delle prestazioni e del consumo energetico delle nuove strutture dati, rispetto alle architetture presenti sui due supercalcolatori sui quelli ci è stato aggiudicato l'accesso: l'architettura Intel KNL ed Intel Skylake, rispettivamente ai sistemi sopracitati. Per finire, abbiamo anche eseguito il porting del codice su architetture ibride CPU e GPU, come il nuovo sistema Marconi-100 installato di recente al CINECA. È stato implementato e validato il modello Shan-Chen per fluidi multicomponente con interazione al secondo vicino. Questo ha permesso di modellare la dinamica di un fluido a due componenti non immiscibili, caratterizzati da tensione superficiale e una forzante repulsiva tra i due liquidi presenti. L'emulsione viene sottoposta ad una forzante esterna al sistema, che simula la funzione di agitazione, tipica in simulazioni di fluidi turbolenti. Con il codice sviluppato abbiamo iniziato ad esplorare la fisica dell'emulsione: dalla fase iniziale di rottura dell'interfaccia tra i due fluidi, alla fase di mescolamento e, per finire, la fase di riposo in cui la forzante esterna viene spenta, consentendo all'emulsione di compattarsi. Abbiamo effettuato un numero elevato di simulazioni che ci hanno consentito di effettuare una serie di misure quantitative sulla morfologia del sistema, cosi come di effettuarne alcune stime iniziali sull'energia. Questo tipo di analisi sono state effettuate su diversi sistemi, variandone soprattutto la percentuale di volume della componente presente in forma di gocce sparse all'interno di un fluido continuo. Con questo sistema ci siamo potuti spingere fino a creare emulsioni in cui il volume delle gocce sfiora l'80%, limite riportato anche da studi sperimentali. A queste percentuali l'emulsione presenta alta densità e forte pressione tra le gocce, che mostrano una forma non sferica, caratterizzando la composizione di un fluido complesso. Questa analisi è stata effettuata sia osservando l'influenza della forzante esterna rispetto alla composizione finale del fluido, che analizzando come la composizione finale del fluido ne caratterizza il comportamento quando l'emulsione ottenuta è sottoposta ad un flusso esterno (test di Kolmogorov). Le simulazioni effettuate hanno inoltre mostrato come le emulsioni dense siano sistemi fragili e delicati, essendo difficili da ottenere senza incorrere nel problema di inversione di fase. Nella seconda parte del progetto abbiamo ingegnerizzato ed implementato metodo di tracciamento delle gocce all'interno dell'emulsione, che consente di definirne il profilo lagrangiano di ogni singola goccia quando il sistema viene sottoposto ad una forzante