A Web-based News Reader
| Oggetto | Re: AI per farsi qualche programmino utile |
| Mittente | Vn |
| Data | Tue, 13 Oct 2026 22:01:45 -0000 (UTC) |
| Newsgroups | free.it.ai.general |
gionny70 <gionny70@falsoneeeeeeee.com> wrote: > Il 13/10/2026 14:25, Vn ha scritto:
>> Non hai capito. Il server in questione è il localhost.
>> Lanciando:
>
> sinceramente fai bene poco con quello :)
> pensavo che usassi un po' di tutto, parlavi anche di ridex con altri llm :)
Sì in effetti sto testando... sono veramente "agli albori", io intendo... Al primo giro avevo provato appunto freeride che lega vari servizi e li "serve" su una porta del localhost, da lì con ridex si bussa a quella porta e in teoria ti rispondono i vari servizi, in pratica l'unico che mi ha funzionato è openrouter, però la quota a disposizione logicamente s'esaurisce dopo poche battute. Quindi per quanto riguarda il test che ho fatto, senza toccare impostazioni e accontentandomi del default, va bene giusto per farmi un'idea di cosa può fare. E devo dire che m'aveva dato l'impressione di poter fare cose molto utili. Però, tornando alla pratica: - o ci sono altre configurazioni da impostare meglio - o serve acquistare un abbonamento per avere una quota maggiore e poterci lavorare in modo commpleto Fermiamoci qui, per non parlare di aria fritta e veniamo a quello che ho provato in alternativa. C'è un'altra possibilità, almeno teorica: - si fa girare un modello in locale e lo si aggiunge ai servizi gestiti da freeride Ed è questo aspetto che stavo testando adesso. Quindi ho: 1. installato "llama" (tutte impostazioni di default) 2. scaricato modello Qwen/Qwen2.5-Coder-1.5B-Instruct-GGUF:Q4_K_M A questo punto la chat locale di lama dovrebbe funzionare già così da sola: $ llama serve -m /mnt/crmx5/llm_models/qwen2.5-coder-1.5b-q4_k_m.gguf E di default su localhost alla porta 8080 abbiamo il modello AI qwen2.5 ecc che ci dovrebbe rispondere. Sempre in teoria anche freeride può gestirlo e accorparlo agli altri servizi, quindi quando lanci "ridex" che sarebbe un agente se ho ben capito, ma nella mia ignoranza vediamolo come un client e via, ebbene ridex può interagire sia con openrouter che con llama locale sfruttando il modello qwen2.5. Siccome sto testando, ho impostato freeride in modo che utilizzi solo llama locale: ------------------ $ cat .freeride/.env # Generated by `freeride init`. Source this in your shell or # pass --env-file to your runtime. # # Re-running `freeride init` adds new keys without dropping old ones. OLLAMA_BASE_URL="http://localhost:8080" --------------------------------------- Ma il problem pratico è che avviando ridex e lanciando un "ciao!" al prompt della sua chat, ecco che oggi non risponde nulla. Mentre l'altro giorno rispondeva eccome! E mi aveva sintetizzato anche lo schema di funzionamento di vari script python che costituiscono il piccolo gestionale a cui sto lavorando. E allora non ci capisco più niente! :D Allor ami sono detto: "Facciamola più semplice...". 1. lanciamo llama serve come sopra 2. su localhost:8080 si attiva in ascolto il modello qwen 3. molto bene, apriamo il browser e colelghiamoci all'url http://localhost:8080 4. si apre una bella chat, tipo quella dell'AI Mode di Google search. 5. c'è anche un riquadro che indica il modello disponibile in uso se ci clicco ecco che si hanno informazioni: ----------------- Model Information Current model details and capabilities Model Qwen/Qwen2.5-Coder-1.5B-Instruct-GGUF File Path /mnt/crmx5/llm_models/qwen2.5-coder-1.5b-q4_k_m.gguf Context Size 32,768 tokens Training Context 32,768 tokens Model Size 1.04 GB Parameters 1.8B Embedding Size 1,536 Vocabulary Size 151,936 tokens Vocabulary Type 2 Parallel Slots 4 Build Info b11429-d81235049 -------------------------------- Insomma sembra tutto ok e pronto all'uso 5. ottimo, digito un bel "ciao!" propiziatorio... ma... - in alto appare "Processing 0%", no buono... - la CPU vola al 93%, questo ci può anche stare ma l'altro giorno non l'avevo notato così pesante - E alla fine, al rallentatore (lrggo 0.24 t/s) scrive un riquadro testo che credo sia la risposta partorita: ```json { "name": "get_info", "arguments": {} } ``` Ma perché mai... l'altro giorno rispondeva splendidamente... > Si conosco llama.cpp e tutta la compagnia, ma te lo sconsiglio siamo ben
> lontani da gemini e da claude non ne parliamo nemmeno.
OK, capisco, ma qua oggi prorpio non funziona. Cioè un conto è la limitazione del modello ecc... un altro è proprio un malfunzionamento. Comunque come vedi/vedete questo test non coinvolge freeride, ridex o altre sovrastrutture che potrebbero apportare a loro volta malfunzionamenti. Proprio la chat di base non risponde nulla di sensato, almeno guardando la sua pagina web. Probabilmente è inutile andare a lanciare "freeride serve" e poi "freeride doctor" per analizzare la situazione... | |
