Path: news.corradoroberto.it!news.samoylyk.net!weretis.net!feeder8.news.weretis.net!reader5.news.weretis.net!news.solani.org!.POSTED!not-for-mail
From: VITRIOL <vitriol@is.invalid>
Newsgroups: free.it.ai.general
Subject: Re: IA in locale?
Date: Sat, 2 May 2026 12:00:15 +0200
Message-ID: <10t4hvh$km8$1@solani.org>
References: <10sojv4$2mo9r$1@dont-email.me> <10stiem$40b8$3@dont-email.me>
 <10svf6u$kmrt$1@dont-email.me> <10t263e$17l6u$1@solani.org>
 <10t361g$1nhqj$1@dont-email.me>
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8; format=flowed
Content-Transfer-Encoding: 8bit
Injection-Date: Sat, 2 May 2026 10:00:17 -0000 (UTC)
Injection-Info: solani.org;
	logging-data="21192"; mail-complaints-to="abuse@news.solani.org"
User-Agent: Mozilla Thunderbird
Cancel-Lock: sha1:/MeFiQcUDn5pu1uiBvTCg4S/0hg=
X-Antivirus-Status: Clean
X-User-ID: eJwFwQkBACAIBLBKgBxgHPn6R3DDMbZyNZhisRysUUHW4iBM4CUnoREjOHvb812SmpzyrQ8HAxE0
X-Antivirus: Norton (VPS 260502-0, 2/5/2026), Outbound message
In-Reply-To: <10t361g$1nhqj$1@dont-email.me>
Content-Language: it
Xref: news.corradoroberto.it free.it.ai.general:2221

Il 01/05/2026 23:29, son ha scritto:

> Sì poi c'ho pensato anch'io. Leggo che gli LLM più piccoli hanno 
> parametri nell'ordine di un miliardo. Una matrice quadrata di un 
> miliardo di righe e colonne che contiene numeri in singola precisione 
> (float32) occupa 4 Exabyte (EB).

No, non credo. Se dici un miliardo di parametri è un miliardo totale, 
non devi fare al quadrato. Un miliardo di variabili a virgola mobile 
occupano 4 GB, credo...
I modelli di punta adesso però hanno molte centinaia di miliardi di 
parametri, ma non lo dichiarano esattamente. Ma di sicuro devi 
moltiplicare per centinaia di volte.
Per un modello completamente in locale non ne so nulla, però da quello 
che ho letto casualmente oltre allo spazio su disco devi avere almeno 64 
GB di RAM per prestazioni accertabili su modelli davvero utilizzabili.

-- 
Saluti
VITRIOL