NVIDIA Triton
Intro¶
In questo incontro andiamo alla scoperta di NVIDIA Triton, uno strumento open source che permette la messa in produzione di modelli di machine learning.
Con una semplice configurazione di un'immagine docker è possibile creare un servizio di machine learning inference in grado di fare tutto quello che possiamo desiderare: servire modelli di tutti i maggiori framework python, scaling automatico, batching dinamico, aggiornamento online dei modelli, pipelines, metriche etc.
Materiale¶
