Apple dhe NVIDIA kanë bashkuar forcat për të zhvilluar një teknikë të quajtur “ReDrafter,” që synon përmirësimin e performancës së gjenerimit të tekstit me Modele të Mëdha Gjuhësore (LLMs). Apple ka përdorur qasjen e saj të personalizuar për teknologjitë cloud, por për këtë iniciativë ka zgjedhur të integrojë punën me TensorRT-LLM të NVIDIA, duke kombinuar kërkimin dhe ekspertizën e të dyja kompanive.
Teknika “ReDrafter” mbështetet në një kombinim të “beam search” dhe “tree attention” për të përmirësuar performancën e algoritmeve. Apple dhe NVIDIA e kanë integruar këtë qasje në TensorRT-LLM, duke shtuar operatorë të rinj që rrisin kapacitetin e këtij mjeti për të përballuar modele më komplekse. Si rezultat, prodhuesit e modeleve gjuhësore që përdorin GPU-të e NVIDIA mund të përfitojnë nga përshpejtimi i gjenerimit të fjalëve me më pak burime dhe konsum të ulët energjie.
Testimet e bëra nga NVIDIA treguan një përmirësim prej 2.7 herë më shumë në shpejtësinë e krijimit të tokenave për dekodimin greedy, duke zvogëluar ndjeshëm vonesën dhe nevojën për GPU të shumta. Ky zhvillim mund të ulë ndjeshëm kostot dhe kohën e përdoruesve në aplikacione të ndryshme.
Ndërsa ky bashkëpunim tregon një dritë të vogël për një marrëdhënie të qëndrueshme mes Apple dhe NVIDIA, marrëdhëniet e tyre historike mbeten një pengesë. Megjithatë, bashkëpunime të ngjashme mund të shfaqen në raste të tjera për qëllime specifike.
Përmbledhje:
- Apple dhe NVIDIA kanë zhvilluar një teknikë të re që rrit shpejtësinë e gjenerimit të tekstit deri në 2.7 herë.
- Teknologjia “ReDrafter” përdor qasje të avancuara për të zvogëluar vonesën dhe konsumin e energjisë.
- Bashkëpunime të ngjashme mes Apple dhe NVIDIA pritet të jenë të përkohshme për projekte të veçanta.
Hashtag:
#Apple #NVIDIA #Teknologji #ReDrafter #AI