Выпусков: 82
Vida com IA Filipe Lauar
-
- Технологии
Um podcast sobre inteligência artificial de uma forma simples. Explicando algoritmos e mostrando como ela está presente no nosso dia a dia.
-
-
#80- Layer pruning e Mixture of Depths.
Fala galera, continuando a serie de episódios sobre PEFT, nesse episoódio eu falo sobre tecnicas de otimização de inferência em LLMs.
Eu falo de layer pruning, onde a gente corta algumas camadas consecutivas da rede sem perder quase nada de qualidade do modelo.
Eu falo também sobre Mixture of Depths, uma tecnica semelhante ao Mixture of Experts, onde a gente usa um routing pra escolher quais tokens vão ser processados em qual camada da rede.
Paper MoD: https://arxiv.org/pdf/2404.02258.pdf
Paper layer pruning: https://arxiv.org/pdf/2403.17887v1.pdf
Instagram do podcast: https://www.instagram.com/podcast.lifewithai
Linkedin do podcast: https://www.linkedin.com/company/life-with-ai -
#79- LoRA e QLoRA.
Fala galera, esse é um primeiro episódio de uma série de episódios sobre PEFT, Parameter Efficient Fine Tuning. Nele eu falo sobre LoRA e QLoRA, que são 2 métodos muito importantes e amplamente utilizados que possibilitam o treinamento de LLMs bem mais rápido com o uso de apenas 1 GPU sem perder perfomance.
Video sobre QLoRA: https://www.youtube.com/watch?v=6l8GZDPbFn8
LoRA paper: https://arxiv.org/pdf/2106.09685.pdf
QLoRA paper: https://arxiv.org/pdf/2305.14314.pdf
Instagram do podcast: https://www.instagram.com/podcast.lifewithai
Linkedin do podcast: https://www.linkedin.com/company/life-with-ai -
#78- RAFT: Unindo RAG com fine tuning.
Fala galera, nesse expiódio eu falo sobre Retrieval Aware Fine Tuning (RAFT), um paper que propos uma nova técnica que utiliza tanto domain specific fine tuning quanto RAG pra melhorar a capacidade de recuperação da informação dos LLMs.
Nesse epiódio eu também falo sobre um outro paper que também tem o nome de RAFT, mas dessa vez Reward rAnking Fine Tuning, que propoe uma nova técnica para fazer RLHF mas sem os problemas de convergencia de Reinforcement Learning.
Retrieval Aware Fine Tuning: https://arxiv.org/abs/2403.10131v1
Reward rAnking Fine Tuning: https://arxiv.org/pdf/2304.06767.pdf
Instagram do podcast: https://www.instagram.com/podcast.lifewithai
Linkedin do podcast: https://www.linkedin.com/company/life-with-ai -
#77- Ring Attention e janelas de contexto de 1M, o RAG está morto?
Fala galera, nesse episódio eu explico como a gente consegue escalar a janela de contexto de um LLM pra mais de 1 milhão de tokens usando Ring Attention. Além disso eu discuto se a abordagem usando RAG está morta com esses avanços na janela de contexto.
Paper Lost in the Middle: https://arxiv.org/pdf/2307.03172.pdf
Gemini technical report: https://storage.googleapis.com/deepmind-media/gemini/gemini_v1_5_report.pdf
Paper Ring Attention: https://arxiv.org/pdf/2310.01889.pdf
Instagram do podcast: https://www.instagram.com/podcast.lifewithai
Linkedin do podcast: https://www.linkedin.com/company/life-with-ai -
#76- Resolvendo problemas usando IA com André Lopes.
Fala galera, nesse episódio eu recebi o André, ele é AI expert na IBM e a gente falou bastante sobre como usar IA pra resolver diversos problemas na industria.
Site da Brains: https://brains.dev/
Linkedin do Andre: https://www.linkedin.com/in/andrefelipelopes/
Linkedin da Brains: https://www.linkedin.com/company/brains-brazilian-ai-networks/
Instagram do podcast: https://www.instagram.com/podcast.lifewithai
Linkedin do podcast: https://www.linkedin.com/company/life-with-ai