Prezzi API di pplx-embed-v2-late e configurazione per il recupero da PDF

Se stai definendo il budget per un sistema di ricerca nei PDF basato su pplx-embed-v2-late, c’è un dettaglio decisivo: Perplexity ha rilasciato i pesi dei modelli, ma non ha ancora pubblicato un prezzo API per v2-late né inserito questi modelli nel catalogo pubblico della Embeddings API. Oggi l’opzione concreta è il retrieval multimodale in self-hosting; le tariffe API di v1 possono servire solo come termine di confronto.

Prezzi: v2-late non compare nel listino pubblico della Embeddings API

Al 7 ottobre 2026, il quickstart ufficiale della Embeddings API elenca quattro modelli v1. Non include pplx-embed-v2-late-0.6b né pplx-embed-v2-late-9b, quindi al momento non esiste una stima difendibile del costo API per token di v2-late.

Si tratta di tariffe API pay-as-you-go, non di prezzi della famiglia late-interaction. L’annuncio di Perplexity indica che gli embedding late-interaction, dense e contextual verranno introdotti progressivamente sulla API Platform. È un’indicazione di rollout, non l’annuncio di un endpoint v2-late attivo o di un impegno sui prezzi.

Per valutare un acquisto, conviene separare il budget in due voci:

1. Spesa per API gestita: disponibile per i modelli v1 elencati sopra; non esiste una tariffa pubblicata per v2-late.
2. Spesa per self-hosting: tempo GPU, rendering delle pagine, storage dei modelli, storage dell’indice dei vettori token e serving delle query per v2-late.

Non ha senso moltiplicare un prezzo v1 per il numero di pagine di un PDF e chiamare il risultato un preventivo per v2-late. I modelli usano rappresentazioni diverse, e l’API v1 genera embedding testuali, non segue il workflow documentato basato sulle pagine renderizzate.

Cosa include davvero pplx-embed-v2-late

Perplexity pubblica due checkpoint late-interaction: pplx-embed-v2-late-0.6b e pplx-embed-v2-late-9b. La model card del modello 9B riporta 340M parametri attivi per il modello più piccolo e 7.4B per quello più grande. Entrambi producono vettori a 128 dimensioni per token e usano MaxSim invece di ridurre una pagina a un solo vettore.

I risultati di benchmark provengono dalla model card, non da un test indipendente sui PDF: 9B supera il modello minore di 2.9 punti percentuali nel retrieval da immagini e di 3.5 punti nel retrieval da Markdown, con circa 21.8 volte i parametri attivi. Entrambi i checkpoint sono distribuiti su Hugging Face con licenza MIT.

Lo spazio di embedding condiviso è il dettaglio più importante per il deployment: Perplexity afferma che un indice creato con 9B può essere interrogato dal modello 0.6B. Puoi usare 9B per l’encoding offline dei documenti e 0.6B per le query, ma solo dopo aver verificato il recall cross-model; questo non elimina il costo di storage dell’indice 9B.

Una configurazione concreta per il retrieval dai PDF

Il workflow di v2-late considera ogni pagina PDF renderizzata come un documento immagine. Una query testuale può così trovare parole, struttura delle tabelle, grafici o layout di una pagina senza che l’OCR sia la rappresentazione primaria per il retrieval. È lo stesso approccio per documenti visuali illustrato nella documentazione sul visual retrieval di Sentence Transformers.

“OCR-free” non significa che l’OCR sia inutile: vuol dire che non è il segnale di retrieval. Il testo estratto resta utile per filtri, citazioni, accessibilità e ricerca di fallback.

1. Renderizza le pagine e conserva i metadati

Renderizza ogni pagina in un’immagine RGB a risoluzione costante, poi affiancale un record con questi dati:

Conserva document_id e page_number nel record di retrieval, non solo nel nome del file immagine. Quando trovi una pagina rilevante, recupera anche le pagine adiacenti dello stesso documento: spesso una tabella, una nota a piè di pagina o una definizione attraversano il confine tra due pagine.

2. Installa un encoder compatibile

La model card del modello 9B richiede librerie recenti:

pip install "sentence-transformers>=6.0.0" "transformers>=5.4.0" pillow

L’esempio fornito usa MultiVectorEncoder, mentre la model card carica il checkpoint 9B su CUDA:

from PIL import Image
from sentence_transformers import MultiVectorEncoder

model = MultiVectorEncoder(
    "perplexity-ai/pplx-embed-v2-late-9b",
    device="cuda",
)

Usa l’identificatore 0.6B se il checkpoint più grande non entra nell’hardware disponibile per il serving. La model card non fornisce un minimo ufficiale di VRAM, una tabella di throughput o garanzie di latenza: prima di pianificare la capacità, misura risoluzione delle pagine, batch size e GPU nel tuo ambiente.

3. Codifica separatamente query testuali e immagini delle pagine

Il modello richiede chiamate asimmetriche. Il testo della query passa da encode_query, le pagine renderizzate da encode_document:

query_embeddings = model.encode_query([
    "Which clause governs termination after a material breach?"
])

page = Image.open("pages/contract-2026-04/017.png").convert("RGB")
page_embeddings = model.encode_document([page])

scores = model.similarity(query_embeddings, page_embeddings)
print(scores)

Non inserire documenti testuali e immagini nello stesso batch di encoding. La model card richiede esplicitamente input omogenei e separati, oltre alla configurazione dei marker [Q] / [D] prevista da questo checkpoint. model.similarity() applica MaxSim alle rappresentazioni a livello di token.

Su una raccolta reale, codifica le pagine offline, persisti la rappresentazione multi-vettore in un indice late-interaction e conserva i metadati delle pagine in uno store laterale. Per una raccolta piccola può bastare uno scoring esaustivo. Su scala maggiore, usa un sistema che supporti MaxSim oppure un retriever dense di primo stadio seguito dal reranking v2-late su un set controllato di candidati.

4. Recupera le pagine ed estendi la finestra delle evidenze

Un risultato a livello di pagina dovrebbe normalmente restituire:

1. La pagina trovata e il relativo punteggio.
2. L’ID del documento e il link alla fonte.
3. Una o due pagine vicine dello stesso documento.
4. L’immagine della pagina e l’eventuale testo estratto per la citazione.

Così eviti che una corrispondenza visivamente precisa porti a una risposta incompleta quando, ad esempio, la definizione comincia a pagina 16 e la tabella prosegue a pagina 17. Inoltre il risultato resta verificabile: l’utente può vedere il grafico o la tabella che hanno prodotto la corrispondenza, invece di affidarsi a una trasformazione OCR invisibile.

Il modello di costo, oltre i token API

Non esiste un prezzo API pubblicato per v2-late da confrontare con le quattro tariffe v1. Il costo operativo dipende quindi soprattutto da scelte di deployment che la model card non quantifica.

La guida Hugging Face alla late interaction offre un utile riferimento di scala con un altro modello: un esempio da 4,874 passaggi ha prodotto 608,414 vettori token e 311.5 MB di storage raw float32, mentre un indice PLAID compresso occupava 92 MB. Non sono stime per v2-late, ma mostrano perché “128 dimensioni” non significa “indice piccolo”. Il moltiplicatore importante è il numero di token.

Anche il throughput di indicizzazione va misurato sull’hardware effettivamente usato. In un report di un utente reale su LocalLLaMA, pplx-embed-v1-4b ha richiesto circa 45 minuti per 10,000 vettori, contro 6 minuti per Qwen3-Embedding-4B su una A100 80GB. Il report riguarda v1, non v2-late: è quindi un invito a misurare il throughput degli embedding Perplexity, non un’affermazione sulle prestazioni di v2-late.

“Penso che possa dipendere dal fatto che pplx embed usa attenzione bidirezionale anziché la normale attenzione mascherata.” — u/Velocita84, r/LocalLLaMA

Quale strategia di deployment scegliere?

Il mio consiglio è prototipare il percorso cross-model 0.6B e 9B su 100-500 pagine rappresentative prima di costruire un indice completo. Includi pagine scansionate, tabelle, layout a più colonne e pagine in cui la risposta supera un confine di pagina. Registra recall al valore k scelto, throughput di encoding delle pagine, dimensione dell’indice raw e compresso, oltre alla latenza delle query. Sono dati molto più utili che trasferire il prezzo per token di v1 a un modello che non viene ancora venduto attraverso quell’API.

FAQ sul retrieval da PDF con pplx-embed-v2-late

pplx-embed-v2-late ha un prezzo API?

Non nella documentazione pubblica della Perplexity Embeddings API consultata per questa guida. I prezzi pubblicati, da $0.004 a $0.05 per milione di token, si applicano ai modelli v1 standard e contextualized.

pplx-embed-v2-late è stato rilasciato ufficialmente?

Sì. Perplexity pubblica su Hugging Face checkpoint open-weight da 0.6B e 9B. Il rilascio dei pesi e la disponibilità di un’API gestita sono due tappe distinte.

Il retrieval dai PDF richiede OCR?

No, non per il segnale di retrieval visivo. Renderizza ogni pagina come immagine e codificala come documento. L’OCR o il testo estratto restano però utili per filtri, citazioni, accessibilità e ricerca di fallback.

Il modello 0.6B può interrogare un indice creato con 9B?

La model card di Perplexity afferma che i due modelli condividono lo spazio di embedding e supportano questa configurazione. Misura la qualità sul tuo corpus, perché la card non pubblica un delta di retrieval cross-model.

Testo e pagine immagine possono stare nello stesso batch?

No. La model card indica che input misti di testo e immagini non sono supportati nello stesso batch di encoding. Mantieni omogenee le chiamate di encoding testuale e delle immagini.

Serve comunque un reranker?

Non automaticamente. MaxSim è già il metodo di scoring late-interaction, ma su corpus ampi un retriever dense di primo stadio seguito dal reranking v2-late può essere più pratico che scansionare ogni vettore token di ogni pagina.

Qual è il costo esatto di storage per pagina PDF?

Perplexity non pubblica un calcolatore dello storage v2-late a livello di pagina. Stimarlo richiede il numero di token di pagina conservati, la precisione dei vettori, i metadati e la compressione dell’indice; poi la stima va validata su un campione rappresentativo.

Meglio scegliere 0.6B o 9B?

Scegli 9B quando la qualità dell’indicizzazione offline è la priorità e puoi sostenere il costo del modello e del job di indicizzazione. Scegli 0.6B per un deployment più piccolo o come encoder delle query, inclusa la configurazione documentata a spazio condiviso contro un indice 9B. Il divario nei benchmark è misurabile, ma la model card non fornisce una regola universale su qualità o latenza.

Il controllo go/no-go è semplice: se oggi ti serve un endpoint Perplexity gestito con prezzo noto, v2-late non soddisfa il requisito. Se puoi gestire l’infrastruttura in proprio e i tuoi PDF contengono informazioni che OCR o chunking testuale perdono, renderizza un set rappresentativo di pagine e misura la pipeline late-interaction prima di scalarla.