Qual è il limite di token ChatGPT e puoi superarlo?

Qual è il limite di token ChatGPT e puoi superarlo?
I lettori come te aiutano a sostenere MUO. Quando effettui un acquisto utilizzando i link sul nostro sito, potremmo guadagnare una commissione di affiliazione. Per saperne di più.

ChatGPT ha preso d'assalto il mondo tecnologico e non mancano progressi e aggiornamenti. Ma nonostante l'uso della tecnologia avanzata, ci sono alcuni fattori limitanti all'interno della versione attuale.





Uno di questi fattori è il sistema di token, che continua a interrompere il ciclo evolutivo, mettendo in ginocchio l'utilità dell'app. Se usi ChatGPT, potresti voler conoscere i token di ChatGPT e cosa fare quando finisci i token.





MAKEUSEOF VIDEO DEL GIORNO SCORRI PER CONTINUARE CON I CONTENUTI

Facciamo un passo indietro e ti diamo un'idea di tutto ciò che c'è da sapere sui meccanismi di funzionamento alla base dell'app.





come cambiare il suono di ricarica su iPhone?

Cos'è un token ChatGPT?

Se segui la facciata dell'app, tutto ciò che vedi è un linguaggio informatico che obbedisce ai tuoi comandi e ti dà le risposte che cerchi. Tuttavia, il back-end è solo un sacco di codice, che impara ogni minuto e si aggiorna con le domande a cui risponde.

ChatGPT converte ogni parola in un token leggibile ogni volta che fai una domanda. Per scomporlo ulteriormente, i token sono frammenti di testo e ogni linguaggio di programmazione utilizza un diverso set di valori token per comprendere i requisiti.



  Operatori di confronto e logica booleana con cpp

Poiché i computer non comprendono direttamente i valori del testo, li scompongono in una combinazione di numeri, spesso chiamati incorporamenti. Puoi anche considerare incorporamenti come Liste di Python , che assomigliano a un elenco di numeri correlati, come [1.1,2.1,3.1,4.1…n].

Una volta che ChatGPT prende l'input iniziale, cerca di prevedere il prossimo input possibile in base alle informazioni precedenti. Seleziona l'intero elenco di token precedenti e, utilizzando la sua sintesi di codifica, tenta di anticipare l'input successivo da parte dell'utente. Utilizza e prevede un token alla volta per semplificare la comprensione dell'utilizzo da parte del linguaggio.





usi app di produttività sul tuo ipad

Per migliorare le previsioni e migliorare la precisione, raccoglie l'intero elenco di incorporamenti e lo passa attraverso i livelli di trasformazione per stabilire associazioni tra le parole. Ad esempio, quando fai una domanda come 'Chi è Thomas Edison?', ChatGPT raccoglie le parole più preziose nell'elenco: Chi E Edison .

Gli strati del trasformatore hanno il loro ruolo da svolgere nell'intero processo. Questi livelli sono una forma di architettura di rete neurale addestrata a raccogliere le parole chiave più rilevanti da una stringa di parole. Tuttavia, il processo di addestramento non è così semplice come sembra, poiché richiede molto tempo per addestrare i livelli del trasformatore su gigabyte di dati.





che modello di scheda madre ho?

Anche se ChatGPT prevede solo un token alla volta, la sua tecnologia di regressione automatica è programmata per prevedere e alimentare il modello primario per rilasciare l'output. Il modello è ottimizzato per essere eseguito solo una volta per ogni token, quindi il risultato viene stampato una parola alla volta. L'output si interrompe automaticamente quando l'applicazione incontra un comando stop token.

Ad esempio, se guardi il calcolatore di token sul sito Web di ChatGPT, puoi calcolare l'utilizzo del token in base alle tue domande.

Inseriamo un testo di esempio, ad esempio:

 How do I explain the use of tokens in ChatGPT?

Secondo la calcolatrice, ci sono 46 caratteri in questa stringa, che consumerà 13 token. Se lo scomponi in Token ID, è simile a questo:

 [2437, 466, 314, 4727, 262, 779, 286, 16326, 287, 24101, 38, 11571, 30]
  Calcolo tokenizer da OpenAI's website

Come per il Calcolatore di token OpenAI :