OLLAMA + MLFLOW - Como AVALIAR LLMs

[@vagnerbelfort]

Cara que aula top!! Parabéns! Com certeza irei testar isso. Muito obrigado pela aula!!

[@datawaybr]

Muito obrigado, Vagner!

[@carlosbarbosa776]

QUE AULA SENSACIONAL!

[@andreyfelipe94]

Muito bom, se possível trás mais conteúdo de mlflow, n só pra LLMs mas pra Machine Learning e Time Series tbm

[@vagnerbelfort]

Queria ver mais sobre como utilizar o função julgamento na prática. Obrigado!

[@datawaybr]

Opa, obrigado pela sugestão! Com certeza falaremos mais sobre o tópico!

[@raphaelbonillo2192]

Estou tentando usar o llama 3.1 pra conversar com um PDF de 140MB, porem, as repsostas dele demoram diversos munutos e as vezes nem responde. Como eu faria para acelerar meu Hardware sem alterar o notebook? Tem algum servico online gratuito?

[@datawaybr]

Acredito que tentar acelerar o seu hardware não é a melhor opção. Acredito que você tem duas principais opções: testar modelos menores, que sua máquina vai conseguir rodar mais rapidamente. Utilizar juntamente com o modelo menor, algumas técnicas de prompt engineering para melhorar o resultado do seu modelo; caso essa opção não atinja o resultado que você deseja, você pode tentar utilizar uma técnica que chama "quantization", que pode ser facilmente utilizada através de uma biblioteca python que chama Unsloth. A quantização, basicamente, vai diminuir o tamanho dos modelos permitindo que rodem mais rápido em máquinas menores.