14 min
#79- LoRA e QLoRA. Vida com IA
-
- Technology
Fala galera, esse é um primeiro episódio de uma série de episódios sobre PEFT, Parameter Efficient Fine Tuning. Nele eu falo sobre LoRA e QLoRA, que são 2 métodos muito importantes e amplamente utilizados que possibilitam o treinamento de LLMs bem mais rápido com o uso de apenas 1 GPU sem perder perfomance.
Video sobre QLoRA: https://www.youtube.com/watch?v=6l8GZDPbFn8
LoRA paper: https://arxiv.org/pdf/2106.09685.pdf
QLoRA paper: https://arxiv.org/pdf/2305.14314.pdf
Instagram do podcast: https://www.instagram.com/podcast.lifewithai
Linkedin do podcast: https://www.linkedin.com/company/life-with-ai
Fala galera, esse é um primeiro episódio de uma série de episódios sobre PEFT, Parameter Efficient Fine Tuning. Nele eu falo sobre LoRA e QLoRA, que são 2 métodos muito importantes e amplamente utilizados que possibilitam o treinamento de LLMs bem mais rápido com o uso de apenas 1 GPU sem perder perfomance.
Video sobre QLoRA: https://www.youtube.com/watch?v=6l8GZDPbFn8
LoRA paper: https://arxiv.org/pdf/2106.09685.pdf
QLoRA paper: https://arxiv.org/pdf/2305.14314.pdf
Instagram do podcast: https://www.instagram.com/podcast.lifewithai
Linkedin do podcast: https://www.linkedin.com/company/life-with-ai
14 min