ZML lancia LLMD: un server di inferenza per modelli di linguaggio su chip eterogenei

La startup francese ZML ha recentemente lanciato ZML/LLMD, un server di inferenza innovativo progettato per eseguire modelli open source di linguaggio su una vasta gamma di chip, tra cui Nvidia, AMD, Google TPU, Apple Metal e Intel Arc. Questo prodotto, disponibile gratuitamente al lancio ma non open source, si propone di superare i vincoli software e architetturali che spesso portano a un lock-in verso singoli fornitori, massimizzando le prestazioni disponibili su hardware eterogeneo.

L’obiettivo di ZML è fornire a imprese e operatori cloud la possibilità di utilizzare mix di chip, anche meno costosi o più efficienti dal punto di vista energetico, per ottenere significativi guadagni di efficienza e facilitare la diffusione dell’intelligenza artificiale. “L’idea è restituire alle persone il potere di creare il proprio sistema e ottenere reali guadagni di efficienza che permettano la diffusione dell’IA”, ha dichiarato il fondatore Steeve Morin.

ZML ha anche espresso la volontà di collaborare con nuovi produttori di chip, molti dei quali sono europei, citando nomi come Axelera, Fractile, Kalray, OLIX, Q.ANT, SiPearl, SpiNNcloud e VSORA. Morin ha aggiunto che l’azienda sta lavorando su soluzioni non ancora sviluppate altrove, affermando: “Siamo arrivati al punto in cui stiamo co-progettando il silicio”.

Il lancio di LLMD avviene in un mercato altamente competitivo, dove operatori come Baseten, Inferact e RadixArk, oltre a progetti open source come vLLM e SGLang, offrono funzionalità simili. Nonostante ciò, ZML mantiene rapporti con Nvidia, un segnale della sua strategia di integrazione e adattamento.

Con sede a Parigi e un team di circa 20 persone, ZML ha raccolto 20 milioni di dollari da investitori tra cui 20VC, commit, AALVC, Drysdale Ventures, Kima Ventures, Kindred Capital, LocalGlobe e Puzzle Ventures. Morin, che in precedenza ha ricoperto il ruolo di VP of Engineering di Zenly, acquisita da Snapchat nel 2017, ha spiegato che il rilascio gratuito di LLMD serve a misurare l’utilizzo prima di decidere eventuali politiche commerciali: “Preferisco misurare e poi generare ricavi dove è più efficace, senza ostacolare stupidamente la crescita perché sono stato troppo avido fin dall’inizio”.

Tra i sostenitori presenti nel capitale di ZML figurano nomi noti come Solomon Hykes, Clément Delangue, Julien Chaumond e Yann LeCun, a testimonianza dell’interesse verso l’ecosistema europeo. Morin ha inoltre sottolineato che non avrebbe potuto realizzare ZML se non fosse stato per il contesto parigino.