Cheshire Ai e' un progetto italiano che sta crescendo adesso
Per provarlo si clona il progetto
git clone https://github.com/cheshire-cat-ai/local-cat.git
su un x86 si puo' usare il file compose.yml per avere una installazione di Ollama, Cheshire AI e QDrant
Se non si ha una GPU NVidia si devono commentare le ultime righe
# deploy:
# resources:
# reservations:
# devices:
# - driver: nvidia
# count: all
# capabilities: [ gpu ]
Su Mac invece conviene installare la app nativa di Ollama per M1 in modo da sfruttare la accelerazione Metal e si usa il file docker-compose-mac.yaml che crea un docker di Cheshire AI e QDrant
Per creare su x86 si usa
docker compose up -d
e poi si installano sul docker i modelli (in questo caso mistral)
docker exec ollama_cat ollama pull mistral:7b-instruct-q2_K
Per interagire con Chershire si punta a
http://localhost:1865/admin/
https://localhost:1865/public
Si deve configurare il language model in Cheshire
altrimenti nel caso di Apple, dove il server Ollama e' esterno al docker si usa l'indirizzo http://host.docker.internal:11434
Usando questo esempio https://cheshirecat.ai/local-embedder-with-fastembed/ si configura l'embedder usando quello interno in modo da girare tutto in locale
Per addestrare il modello tramite RAG e' sufficiente trascinare in PDF sull'interfaccia ed attendere il processamento
