rag-pipeline

name	rag-pipeline
description	Progettazione e valutazione pipeline RAG (Retrieval-Augmented Generation) per knowledge base aziendali di PMI italiane. Copre architettura, chunking, embedding, retrieval strategy, valutazione qualità e casi d'uso pratici.

RAG Pipeline — Progettazione per PMI

Architettura RAG in 5 fasi

DOCUMENTI → INGESTIONE → CHUNKING → EMBEDDING → RETRIEVAL → GENERAZIONE
  PDF/DOCX     parsing      split      vector       search       LLM
  Email        estrazione   overlap    store         score        answer
  Wiki         cleaning     metadata   (FAISS/       rerank       citazioni

Fase 1: Ingestione e preprocessing

Tipo documento	Strumento	Note
PDF (digitale)	PyMuPDF, pdfplumber	Estrae testo + tabelle
PDF (scansione)	OCR (Tesseract, AWS Textract)	Qualità dipende da scan
DOCX/XLSX	python-docx, openpyxl	Preserva struttura
Email (.eml)	email library Python	Estrai corpo, rimuovi firma
HTML/Wiki	BeautifulSoup	Rimuovi navigation, ads
Immagini	Vision model	Solo se testo critico

Preprocessing obbligatorio:

• Rimuovi header/footer ripetuti (numeri pagina, logo)
• Normalizza encoding (UTF-8)
• Elimina blocchi boilerplate ("Documento riservato", date, versioni)
• Preserva struttura gerarchica (H1 > H2 > paragrafo)

Fase 2: Chunking — scelta strategia

Strategia	Chunk size	Overlap