Send us a text

Was wäre wenn wir Prompts automatisch verkleinern und damit Kosten und Geschwindigkeit eines LLMs ohne Informationsverlust verbessern könnten ?
 
Diesen Ansatz verfolgt LLMLingua über das wir in der heutigen Sendung sprechen wollen. 

LLMLingua: https://arxiv.org/abs/2310.05736
LongLLMLingua: https://arxiv.org/abs/2310.06839
LLMLingua2:https://arxiv.org/abs/2403.12968

Support the show