Path: news.corradoroberto.it!eternal-september.org!feeder.eternal-september.org!nntp.eternal-september.org!.POSTED!not-for-mail
From: Vn <vn@co.invalid>
Newsgroups: free.it.ai.general
Subject: Re: AI per farsi qualche programmino utile
Date: Sun, 11 Oct 2026 21:29:01 -0000 (UTC)
Organization: A noiseless patient Spider
Lines: 134
Sender: <joe@master.fishnet.local>
Message-ID: <11agv2s$31amc$1@dont-email.me>
References: <11aas9u$rjsp$1@dont-email.me> <11abnl8$16kf7$1@dont-email.me>
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit
Injection-Date: Sun, 11 Oct 2026 21:29:01 +0000 (UTC)
Injection-Info: dont-email.me;
logging-data="3189452"; mail-complaints-to="abuse@eternal-september.org"; posting-account="U2FsdGVkX182lQs1k5ZVKyTtKsjXRO2N7AyIpVyMdUI="; posting-host="64d2f02aff5d34714cc43af2b88eb2be"
Cancel-Lock: sha1:LsSwcgGN764y0MaXk1vuCl/58FA= sha256:4qpitVBRrgB70FKEj6EMyI7uoXCxfIAr97r80LLx+n8=
sha1:9N45q6kp4pHjh0sy4guINz+f57I= sha256:xzgbYP1RJDfCTJ+UaQeqqU4UlnghPg7dcEtaxWLnpM0=
Xref: news.corradoroberto.it free.it.ai.general:3152
Tony Borlini <tonyborlini@dontemail.me> wrote:
>
> Fatto ciò installi Ollama.
>
> Ad esempio:
> curl -fsSL https://ollama.com/install.sh | sh
>
> e poi inizia a testare i modelli leggeri che potrebbero fare al caso
> tuo.
>
> Esempio:
> sudo systemctl start ollama
> ollama run gemma4:e2b
Anzitutto grazie Tony!
Premetto che ho scritto troppo... ma ho voluto condividere qui
qualche dettaglio in più perché dell'AI si sente sempre più spesso
parlare, raccontare, predire, ma a me tanta parte della narrativa
in voga sa di troppo "etereo". Così ho pensato di dare seguito al
thread annotando l'esperienza di un "povero diavolo" che con mezzi
scarsi e scassati vuole vedere se si può cavare qualcosa di utile
o addirittura più che sufficiente per un caso di utilità reale.
Siccome avevo provato ridex/freedrive, peraltro senza ben capire
ancora molto di come funzioni o meglio perché alcuni servizi, come
groq non funzionino, ho provato a strigerlo su l'ia locale che però
ho fatto girare con llama.cpp invece che ollama, dovrebbe essere ancora
più leggero se ho bene capito.
Lo schema seguito, più o meno è questo:
1. installazione llama.cpp
$ curl -LsSf https://llama.app/install.sh | sh
2. configurazione freeride in modo che si colleghi al server
locale llama che quando sarà in piedi ascolterà sulla 8080
$ grep -v '^#\|^$' ~/.freeride/.env
OLLAMA_BASE_URL="http://localhost:8080"
3. scaricamento modello Qwen2.5-Coder-1.5B-Instruct-GGUF:Q4_K_M
$ llama download -hf Qwen/Qwen2.5-Coder-1.5B-Instruct-GGUF:Q4_K_M
Occhio, a me lo installa direttamente in RAM, non su disco, probabile
ci sia un flag per modificare questo comportamento, ma io alla fine ho
fatto una copia su un ssd secondario avente spazio libero:
$ cp --remove-destination \
$(readlink -f /dev/shm/Vn/huggingface/hub/models--Qwen--Qwen2.5-Coder-1.5B-Instruct-GGUF/snapshots/f86cb2c1fa58255f8052cc32aeede1b7482d4361/qwen2.5-coder-1.5b-instruct-q4_k_m.gguf) \
/mnt/crmx5/llm_models/qwen2.5-coder-1.5b-q4_k_m.gguf
4. llama server
OK, a questo punto tutto è pronto per lanciare llama in mode che
"serva" sulla porta 8080 il modello Qwen scricato:
$ llama serve -m /mnt/crmx5/llm_models/qwen2.5-coder-1.5b-q4_k_m.gguf
Ovviamente i permessi di attraversamento e attributi di proprietà della
directory llm_models devono permettere al mio user di accedere al file
gguf in questione.
5. freride server
A questo punto faccio partire il server freeride:
$ freeride serve
6. client ridex che si collega al server freeride
E infine lancio l'interfaccia "chat" ridex dalla directory del progetto:
$ cd ~/progetto
$ ridex
In realtà ridex va dove diamine vuole, può leggere anche fuori da quella
directory, va be'. Sarebbe meglio containerizzare tutto o far girare in
macchina virtuale, isolandolo dal sistema principale... Ad ogni modo
così "funziona".
Funzionicchia diciamo, perché non l'ho ancora testato più seriamente.
Gli ho chiesto di analizzare tutti gli script python presenti nella
dir di progetto e di schematizzarmi sommariamente cosa fanno.
In effetti... cazzarola... in tipo 10, 20 secondi ha dato una risposta
più che soddisfacente. Le tempistiche per le mie esigenze sono
accettabilissime.
Inoltre la mia poca RAM non è andata a donnine, anzi... ne resta
tranquillamente libera una bella fetta. Ora vado a memoria ma stava
sul 40% se ben ricordo... prendetela con le pinze perché avevo aperto
anche altra roba tra l'altro.
L'hardware l'avevo messo, il sistema è Slackware64-15.0.
Ambiente grafico xorg e dwm come window manager, quindi
sono già in una situazione più che minimalista in partenza.
Con quel veccho catorcio di PC si deve fare di necessità virtù.
Per dare l'idea, mentre scrivo ho aperto freetube e 2 o 3 finestrelle
di mpv con video stoppati, più il terminale con sessione screen e due
shell di cui in quella corrente sto usando il newsreader "tin".
E la RAM è al 27% di 4 GB, circa 1 GB quindi...
Vedremo come se la cava il "modellino" chiedendogli di apportare qualche
modifica agli script per preseguire nel progetto. Non ricordo se l'avevo
specificato ma giusto per completezza si tratta di un piccolo gestionale
per una rivista locale di asociazione noprofit. Quindi c'è un piccolo
database sqlite con un paio di tabelle abbonati e registro che contengono
rispettivamente anagrafiche e conti.
Il gestionale deve produrre dei PDF con lista consegne, spedizioni,
mostrare informazioni di ciascun abbonato, stato di abbonamento,
pagamenti e roba così, saldo cassa, lista movimenti, ecc ecc...
Niente di trascendentale, ma credetemi, già quello che sono riuscito a
tirar fuori con AI Mode di Google è tanta manna, rispetto a smazzarsi
manualmente quella roba. E il tutto senza essere assolutamente neanche
lontanamente pratico di python, qualche rudimento di programmazione lo ho,
e fa comodo sicuramente per pilotare l'AI e correggere strafalcioni palesi,
ma niente di più.
Già sono soddisfatto così ma appunto prendevo l'occasione per
approfondire uno step successivo delle potenzialità AI con un tool
che ha accesso diretto al progetto senza dover scopiazzare codice
a amano dal sistema al browser con l'AI Mode di google.
Tra parentesi anche il database l'ho convertito via script python grazie
ad AI, a partire da un file ODS convertito in CSV, e compilato molto
molto alla buona. Controllato poi anche manualmente ma dovremmo esserci.
Ho condiviso anche troppo, ma devo dire che sta roba mi ha dato
soddisfazione e se testandola un po' gira in modo soddisfacente
avrà anche un'utilità reale mica da poco perché farà risparmiare
davvero un sacco di tempo. Sta roba era gestita "a memoria" o via
scartoffie cartacee scritte a penna, e nella sua versione migliore
col malefico paio di fogli di calcolo accennati sopra.
Posterò gli sviluppi, anche perché magari così qualche idea da qualcuno
più esperto di me potrebbe saltar fuori. Prometto che sarò più breve!
;)
| Oggetto |
Re: AI per farsi qualche programmino utile |
| Mittente |
Vn |
| Data |
Sun, 11 Oct 2026 21:29:01 -0000 (UTC) |
| Newsgroups |
free.it.ai.general |
Tony Borlini <tonyborlini@dontemail.me> wrote:
>
> Fatto ciò installi Ollama.
>
> Ad esempio:
>
> e poi inizia a testare i modelli leggeri che potrebbero fare al caso
> tuo.
>
> Esempio:
> sudo systemctl start ollama
> ollama run gemma4:e2b
Anzitutto grazie Tony!
Premetto che ho scritto troppo... ma ho voluto condividere qui
qualche dettaglio in più perché dell'AI si sente sempre più spesso
parlare, raccontare, predire, ma a me tanta parte della narrativa
in voga sa di troppo "etereo". Così ho pensato di dare seguito al
thread annotando l'esperienza di un "povero diavolo" che con mezzi
scarsi e scassati vuole vedere se si può cavare qualcosa di utile
o addirittura più che sufficiente per un caso di utilità reale.
Siccome avevo provato ridex/freedrive, peraltro senza ben capire
ancora molto di come funzioni o meglio perché alcuni servizi, come
groq non funzionino, ho provato a strigerlo su l'ia locale che però
ho fatto girare con llama.cpp invece che ollama, dovrebbe essere ancora
più leggero se ho bene capito.
Lo schema seguito, più o meno è questo:
1. installazione llama.cpp
$ curl -LsSf https://llama.app/install.sh | sh
2. configurazione freeride in modo che si colleghi al server
locale llama che quando sarà in piedi ascolterà sulla 8080
$ grep -v '^#\|^$' ~/.freeride/.env
OLLAMA_BASE_URL="http://localhost:8080"
3. scaricamento modello Qwen2.5-Coder-1.5B-Instruct-GGUF:Q4_K_M
$ llama download -hf Qwen/Qwen2.5-Coder-1.5B-Instruct-GGUF:Q4_K_M
Occhio, a me lo installa direttamente in RAM, non su disco, probabile
ci sia un flag per modificare questo comportamento, ma io alla fine ho
fatto una copia su un ssd secondario avente spazio libero:
$ cp --remove-destination \
$(readlink -f /dev/shm/Vn/huggingface/hub/models--Qwen--Qwen2.5-Coder-1.5B-Instruct-GGUF/snapshots/f86cb2c1fa58255f8052cc32aeede1b7482d4361/qwen2.5-coder-1.5b-instruct-q4_k_m.gguf) \
/mnt/crmx5/llm_models/qwen2.5-coder-1.5b-q4_k_m.gguf
4. llama server
OK, a questo punto tutto è pronto per lanciare llama in mode che
"serva" sulla porta 8080 il modello Qwen scricato:
$ llama serve -m /mnt/crmx5/llm_models/qwen2.5-coder-1.5b-q4_k_m.gguf
Ovviamente i permessi di attraversamento e attributi di proprietà della
directory llm_models devono permettere al mio user di accedere al file
gguf in questione.
5. freride server
A questo punto faccio partire il server freeride:
$ freeride serve
6. client ridex che si collega al server freeride
E infine lancio l'interfaccia "chat" ridex dalla directory del progetto:
$ cd ~/progetto
$ ridex
In realtà ridex va dove diamine vuole, può leggere anche fuori da quella
directory, va be'. Sarebbe meglio containerizzare tutto o far girare in
macchina virtuale, isolandolo dal sistema principale... Ad ogni modo
così "funziona".
Funzionicchia diciamo, perché non l'ho ancora testato più seriamente.
Gli ho chiesto di analizzare tutti gli script python presenti nella
dir di progetto e di schematizzarmi sommariamente cosa fanno.
In effetti... cazzarola... in tipo 10, 20 secondi ha dato una risposta
più che soddisfacente. Le tempistiche per le mie esigenze sono
accettabilissime.
Inoltre la mia poca RAM non è andata a donnine, anzi... ne resta
tranquillamente libera una bella fetta. Ora vado a memoria ma stava
sul 40% se ben ricordo... prendetela con le pinze perché avevo aperto
anche altra roba tra l'altro.
L'hardware l'avevo messo, il sistema è Slackware64-15.0.
Ambiente grafico xorg e dwm come window manager, quindi
sono già in una situazione più che minimalista in partenza.
Con quel veccho catorcio di PC si deve fare di necessità virtù.
Per dare l'idea, mentre scrivo ho aperto freetube e 2 o 3 finestrelle
di mpv con video stoppati, più il terminale con sessione screen e due
shell di cui in quella corrente sto usando il newsreader "tin".
E la RAM è al 27% di 4 GB, circa 1 GB quindi...
Vedremo come se la cava il "modellino" chiedendogli di apportare qualche
modifica agli script per preseguire nel progetto. Non ricordo se l'avevo
specificato ma giusto per completezza si tratta di un piccolo gestionale
per una rivista locale di asociazione noprofit. Quindi c'è un piccolo
database sqlite con un paio di tabelle abbonati e registro che contengono
rispettivamente anagrafiche e conti.
Il gestionale deve produrre dei PDF con lista consegne, spedizioni,
mostrare informazioni di ciascun abbonato, stato di abbonamento,
pagamenti e roba così, saldo cassa, lista movimenti, ecc ecc...
Niente di trascendentale, ma credetemi, già quello che sono riuscito a
tirar fuori con AI Mode di Google è tanta manna, rispetto a smazzarsi
manualmente quella roba. E il tutto senza essere assolutamente neanche
lontanamente pratico di python, qualche rudimento di programmazione lo ho,
e fa comodo sicuramente per pilotare l'AI e correggere strafalcioni palesi,
ma niente di più.
Già sono soddisfatto così ma appunto prendevo l'occasione per
approfondire uno step successivo delle potenzialità AI con un tool
che ha accesso diretto al progetto senza dover scopiazzare codice
a amano dal sistema al browser con l'AI Mode di google.
Tra parentesi anche il database l'ho convertito via script python grazie
ad AI, a partire da un file ODS convertito in CSV, e compilato molto
molto alla buona. Controllato poi anche manualmente ma dovremmo esserci.
Ho condiviso anche troppo, ma devo dire che sta roba mi ha dato
soddisfazione e se testandola un po' gira in modo soddisfacente
avrà anche un'utilità reale mica da poco perché farà risparmiare
davvero un sacco di tempo. Sta roba era gestita "a memoria" o via
scartoffie cartacee scritte a penna, e nella sua versione migliore
col malefico paio di fogli di calcolo accennati sopra.
Posterò gli sviluppi, anche perché magari così qualche idea da qualcuno
più esperto di me potrebbe saltar fuori. Prometto che sarò più breve!
;)
| |
|
|
