Tu propio Github Copilot Gratuito instalado en tu computador - Code GPT y Ollama

Con la gran cantidad de modelos inteligentes abiertos, actualmente tambien es posible tener tu propio chat inteligente instalado en tu propio computador y use tu hardware en lugar de la nube, asi que en este tutorial te voy a enseñar como tener tu propio modelo inteligente para que puedas usarlo desde Visual Studio Code al igual que Github Copilot, para lograr esto usaremos Ollama, un software que nos permite instalar LLMs abiertos y Code GPT, una extension de visual studio code que nos permite utilizar multiples modelos inteligentes dentro de VSCode.
⭐ Cursos Recomendados
Curso de Nodejs ⮕ fazt.dev/nodejs
Curso de Python⮕ faztweb.com/py...
Curso de React ⮕ • Curso de Reactjs desde...
Curso de Nextjs ⮕ • Curso de Nextjs desde ...
Curso de Javascript para React ⮕ • Javascript para Aprend...
🎒 Servicios Recomendados
SiteGround ⮕ bit.ly/31u9ZEk
Railway ⮕ railway.app?referralCode=fazt
Namecheap ⮕ namecheap.pxf....
🎒 Otros Servicios
Ledger ⮕ (Hardware Wallet) bit.ly/3ijsVNW
Cloudinary ⮕ bit.ly/3ohNlJ7
Notion ⮕ affiliate.noti...
🗣 Redes Sociales
Github ⮕ github.com/fazt
Twitter ⮕ / fazttech
Discord ⮕ faztweb.com/so...
Puedes encontrar la lista de tutoriales de Nodejs en:
faztweb.com/ne...
#terraform #digitalocean #vps #cloud
#ollama #desarrolloweb #chatgpt #githubcopilot #vscode

[@hbmichang]

Fazt es mi pastor y nada me faltará!

[@sneuder9544]

Fazt es mi pastor y mi código compilará.

[@PedroEnriquePadillaRuiz]

🤣🤣🤣

[@odiio3402]

Sobre delicados repositorios me hará descansar

[@FrancoAguileradonillan]

Cuando camine por el valle de los bugs, no temere porque fazt es mi pastor, y mi proyecto se deployara

[@milagrossalas4734]

Se pasan 😂

[@felixinit]

Espectacular extensión GPT Code + Llama3. Muchas gracias!

[@inteligenciafutura]

Confío en ti porque tenés credibilidad

[@Austin_de_Backyardigans]

no entiendo

[@chind0na]

Justamente compré una ASUS con i9 gen 13 la semana pasada para usar Ollama. Esto es genial. Gracias.

[@missanddiie]

Excelente video, muchas gracias, tus tutoriales son excelentes, van al grano bien explicados y sin exagerar en detalles, muchas gracias.

[@arturoespinosa3447]

Fazt: No se preocupen, la descarga es muy rápida Yo al ver su conexión de más de 1 Gbps :|

[@mjavint]

Muy buen tips mi hermano, tambien soy creador de contenido, tus contenidos son excelentes, GRACIAS

[@oscarfabian3241]

Tus aportes son realmente útiles, gracias por compartir

[@404-not-found-service]

Gracias fazt! como siempre un grande

[@jonathansalazar9775]

Justamente había visto la noticia del lanzamiento de llama 3 y pensé en si fazt haría algún tutorial sobre eso... increíble fazt, un grande!

[@moy_4520]

excelente me funciono, ya tengo copilot pero con esta nueva ia podre complementar mejor mi forma de desarrollar.

[@secretosdelatecnologia7177]

MUCHAS GRACIAS AMIGO , ME SERVIRÁ MUCHO PARA PRACTICAR PYTHON , MIL GRACIAS

[@andresbonilla2180]

Agradable aporte, para nosotros los humildes.

[@Gutierma_69]

Super interesante. Voy a probar hacerlo. Gracias por compartir tus conocimientos.

[@isrcas]

Yo uso Codeium y si tiene autocompletado, y un chat integrado en VS Code, usa GPT-3 👍👍👍

[@eduardodudu5695]

es mejor, sin gastar tantos recursos. o incluso el editor del cursor.sh

[@TheEltictacdicta]

​@@eduardodudu5695 yo uso Cursor

[@SpawN4609]

@@eduardodudu5695 que les parece mejor codeium o code whisperer de aws

[@jomoju]

Codeium es amor, codeium es vida. Aunque ayer note que fallaba un poco

[@isrcas]

@@jomoju para ser gratuito esta genial

[@MercuryAR]

Excelente video.

[@fabianromero1660]

Gracias fazt, tengo entendido que te llamas igual que yo, pero, de grande quiero ser como tú, gracias por tus aportes compa

[@mwmg704]

Excelente video, primera vez usando ia en mi vs code

[@bertmoran9931]

Requisitos de Hardware GPU: VRAM: Para el modelo llama3 8b, se recomienda tener al menos 5.6 GB de VRAM. Si optas por el modelo llama3 8b-instruct-fp16, necesitarás alrededor de 15.6 GB de VRAM. CPU: Se sugiere un procesador moderno, como un Intel de 10ª generación o AMD Ryzen 4 o superior, para asegurar un rendimiento adecuado. Memoria RAM: Un mínimo de 16 GB de RAM es necesario para ejecutar los modelos de manera eficiente. Tener menos RAM puede resultar en un rendimiento lento. Almacenamiento: Dependiendo de cuántos modelos desees instalar, necesitarás espacio en disco. Por ejemplo, la interfaz web ocupa alrededor de 2 GB, y cada modelo puede ocupar entre 50 GB a más de 100 GB, dependiendo del tamaño del modelo. Sistema Operativo: Ollama es compatible con sistemas como Windows, macOS y Linux, así que asegúrate de tener uno de estos sistemas operativos instalado. Con este hardware adecuado, podrás ejecutar Ollama y sus modelos de manera efectiva en tu máquina local.

[@videovideo166]

Excelente video man! Oiga! no habia mirado el numerito de los me gusta y las vistas! Como ha crecido el canal eh? recuerdo cuando era el unico que comentaba :P :D Grande Fatz! siga educandonos, por favor! EDIT: no que lama 3 acaba de salir? y usted ya nos está enseñando a usarlo?... lo siento, lo olvidaba... FAZT Code :D

[@DaNiel-sq3em]

Parcero te imaginas el poder del modelo de llama3 que tiene 400B. Es una locura!!

[@davidvela1735]

Yo uso la extensión de black box, tiene autocompletado, pero me parece genial llama 3. Lo probaré

[@sandrabentivegna9545]

Muchas gracias Fazt!

[@LaCompulab]

Eres un crack! De siempre

[@brayanpuentesruiz4160]

Grande fazt, podrías subir un vídeo de cómo conectar node con el modelo y así poder interactuar con el directamente desde el código y usarlo en proyectos? Por favor sería de gran utilidad.

[@dan_seb]

120 MB/s vs mis poderosos 4 MB/s

[@dcloki789]

excelente dato, gracias sensei

[@juliocesarbriceno9310]

Fazt, saludos y agradecimientos por tus valiosos aportes. Tengo una consulta sobre el rendimiento de la computadora. ¿Cuál es más eficiente en términos de código: usar el editor Cursor o la extensión en Visual Studio Code? Además, ¿cuál de estas opciones consume menos recursos y afecta menos el rendimiento de mi equipo?

[@sebastian-ns7ou]

Es exelente. Sabes si podria instalarlo en mi proyecto para hacer un chat bot de whatsapp usando mis datos y evitando pagar la api de openIa? Gracias por tu aporte. siempre aprendo en tu canal

[@felipeyanez988]

Muchas gracias Fazt

[@pctops]

Fazt, podrías hacer un ejemplo de implementación de Llama 3 con algún SDK, para análisis de datos y así

[@jessy2819]

Lo que tú digas, voy a probarlo de una vez.!!!!

[@alfs9114]

Wow muchas gracias!!!

[@juansiesquen]

Estos modelos podrian ser compartidos para que aprenda las buenas prácticas de un grupo de desarrollo. Gracias por el aporte Crack!

[@JoseLuis-zx2lp]

¿Cuanta ram o gpu necesito para que se ejecute correctamente?

[@drincast100]

me reventó el vs code noooo y lo tenia tuneado, ahora a instalar de nuevo

[@mauroinde]

Gracias mi Sensei

[@Johan-zs9xh]

Una consulta, algo que note es que no se guarda la conversacion? o como se hace?

[@JoShMiQueL]

Yo utilizo Codium, muy similar también.

[@jonabadd]

Buenas, gracias por la herramienta muy buena, yo tenia la duda de si al igual que github copilot, que depura el código y no lo almacena en sus servidores. En resumen si nuestro código no se hace publico utilizando esta herramienta. Saludos.

[@jesanabriah]

Está genial, lo malo es que me cuesta mucho la tarjeta grafica para que me corra el llama 3 jaja

[@SonGoku-pc7jl]

Gracias! Estaba en esto de hace tiempo pero había un par de cosas que no me funcionaban. Que bien que la semana que viene den autocompletado. Llama3 va mejor incluso que codegemma para código no? mola que con una 1070 que tiene unos 8vram, si configuro windows a procesar en "económico" no se calienta a 82grados como cuando lo pongo en alto rendimiento. Un poco más lento pero más vida pal pc que esta viejito aunque aguanta :)

[@kf_11]

Justo iba a preguntar eso jaja parece que estoy friendo huevos en el cpu, ni con los juegos pasa de 70 °C y no vi ningún comando que limite el uso de recursos o algo

[@jhonnybecerradelgado7781]

baje todo lo que dijiste, llama 3, codellama, mistral y variossss...pero al ejecutarlo osea al usarlo en vscode va lentísimo. mi laptop asus core i9 con 32Gb de ram. y en todo es muy rápida, nose si la IA consume todo y no seria viable. no quiero ni pensar como seria con una laptop de menos especificaciones.

[@josuegalan6358]

Puedes usar IA en tu codigo siempre que estes conectado a wifi

[@wilovy0993]

Estaria bueno un minitutorial de una rest api con AdonisJS

Lo que me preocupa es el consumo de memoria y procesador. Tienes este detalle?

[@FaztCode]

Si claro aquí lo dejo github.com/open-webui/open-webui/discussions/736#discussioncomment-8474297

[@fr3nch0]

Excelente compa, tengo una pregunta tu que sabes más, si tú dices que llama3 fue entrenado con la información del 2022, y por eso no te muestra las nuevas características de react o cualquier otro framework, la pregunta es como puedes actualizar el modelo ? Se puede ir a Github y descargar las últimas versiones y cargarlas en el modelo y con eso podríamos tener actualizado el modelo ? O es más complicado que eso?

[@rowilljesusbricenobarrios7680]

help no me funciona al instalar la extencion dice que algo a salido mal que vuelva intentarlo... y se queda hay for ever como el chavismo en venezuela

[@MercuryAR]

Fatz Code Se pueden instalar varios modelos y vos vas cambiando el modelo desde el VSCode?

[@lbraasesoriaparatcp1948]

Gracias bro. Y cuanto tiene que tener la máquina para que te corra esto (CPU, ram, etc..)

[@FaztCode]

Te dejo el Post de Github donde especifican todo esto :) github.com/open-webui/open-webui/discussions/736

[@7_Seven_7_7]

Gracias bro

[@FaztCode]

Con gusto :)

[@mauroa.3434]

hola, no me funcionó, se queda cargando la respuesta pero no pasa nada... como puedo solucionar esto? muchas gracias

[@code_castle]

puedes probrar instalando otros providers ?? gracias

[@Dun_Dev]

¿Se puede entrenar un modelo con tu proyecto particular para que sean mucho más específicas las respuestas del chat ?

[@JulioCampoSwork]

va a explotar mi computadora, no se si lo vale

[@programmercito1812]

ollama ya tiene llama3 cool !, que modeloz uso?

[@CarlosPadilla19]

Hola Fazt... Tengo una duda, cuando termina el instalador de Ollama, no se ejecuta la terminal para instalar el modelo Llama3 ¿Existe una forma manual para ejecutar dicha terminal?

[@juanmiguelcontreras605]

Muchas gracias, a mi no me funciona, me imagino que puede ser por el tema de la exigencia a la tarjeta grafica. El CodeGpt esta genial, pero solo permite 5 preguntas en las demas IA

[@AlejandroAlas-h3h]

gracias por la informacion Fazt una pregunta, si tengo una gpu de amd siempre puede funcionar?

[@mateoflorezjaramillo5074]

Si quisiera usar un gpt que me de datos actualizados cuál recomiendas ?

[@JoseOrtega-oz2zx]

No me funciona ,pongo consultas en el chat pero solo sale la tipica ruedecita girando en el cartel del modelo llama3:8b al lado del simbolo de home....

[@yancedywiler]

Fazt excelente video, gracias por compartir tu conocimiento y enseñar las cosas paso a paso. Te sigo hace tiempo, con este video aprendí a crear mi primera página HTML kzbin.info/www/bejne/qJPYiqeog7qrnZY Desde ahí me sigo capacitando y aprendiendo cada vez tecnologías nuevas, ese hecho ha cambiado mi vida y me ha abierto puertas a trabajar para empresas.

[@arielangelsantillanreyna2947]

Que genial fazt, una pregunta sabes cuales son los requisitos de hardware para ejecutar llama3?

[@ANGHELLUZ]

Existen dos variantes: Llama 3 8B, si tienes un sistema con recursos limitados y Llama 3 70B, mientras cuente con un rendimiento excepcional, pero con mayores demandas de hardware. Aquí están los detalles sobre estos modelos y los requisitos de hardware para ejecutarlos localmente: 1. Llama 3 8B: - Requisitos mínimos de hardware: + RAM: Al menos 16 GB + GPU: Una GPU potente con al menos 8 GB de VRAM, preferiblemente GPU NVIDIA con soporte CUDA + Disco Duro: 4 GB 2. Llama 3 70B: - Requisitos mínimos de hardware: + RAM: 64 GB o más + GPU: Una GPU potente con al menos 8 GB de VRAM, preferiblemente GPU NVIDIA con soporte CUDA + Disco Duro: 20 GB

[@camilocharry]

a mi solo me instala Ollama pero no me permite ejecutarlo ni usar la terminal

[@dhernandezm]

tengo problemas al descargar la extensión, simplemente se queda en blanco, no puedo ver nada de la extensión, ya intente deshabilitarla, reinicar el vsc y hasta reiniciar el pc y nada

[@RVKAWAAA]

no sirve si no es en tiempo real, porque despues del 2022, muchas cosas opiamente se actualizaron

[@lucasfernandez8314]

Que tema utiliza para ese video de vs code?

[@andres3665]

Me corre a una palabra por minuto, pero gracias.

[@FaztCode]

jaja si lamentablemente aun estos modelos consumen muchos recursos de hardware, con una buena grafica se tienen que usar

[@antoniogiraldo1496]

Viéndolo antes que lo ponga solo para miembros:(

[@quizzesya]

Cuál pc tienes?

[@marvinzavala5638]

Al utilizar Llama 3 mi CPU hace todo el proceso y mi GPU no hace nada, haciendo que sea lento y las respuestas dilatan en cargar, alguna sugerencia porfavor para utilice mi GPU, tengo una GTX 1650

[@CristianAndresMarin17]

Puedo usarlo para redactar Commits automáticamente?

[@joeljota6363]

Al instalarse dentro del sistema no requiere de internet entonces?

[@FaztCode]

así es una ves instalado ya no requiere internet

[@Elba_Nanito]

oye amigo Fazt podria usarlo pero con neovim?

[@davidreyna7198]

Se podrá utilizar este asistente en una página web?

[@FaztCode]

Si podrias desplegarlo en un VPS y consumirlo desde alli al estilo de la API de OpenAI

[@rbnsmalca5945]

es de meta?🤔

[@Axotla]

en mi maquina esta super lento

[@FaztCode]

Si hasta la fecha los modelos inteligentes requieren alguna tarjeta grafica o un buen procesador para que vaya fluido

[@CarlosHidalgoLa]

Requerimientos: Modelos Pequeños (7B - 13B parámetros): RAM 16-32 GB, CPU Intel i7/i9 o AMD Ryzen 7/9, GPU opcional de 8 GB VRAM (NVIDIA RTX 3060). Modelos Medianos (30B - 65B parámetros): RAM 32-64 GB, CPU Intel i9 o AMD Ryzen 9, GPU de 16 GB VRAM (NVIDIA RTX 3080/3090). Modelos Grandes (175B parámetros y superiores): RAM 64-128 GB, CPU Intel Xeon o AMD Threadripper, múltiples GPUs con 24 GB VRAM cada una (NVIDIA A100, RTX 3090).

[@emerson.dvlmt.g]

Se puede entrenar un modelo de Llama?

[@jossejosse952]

Para eso busca información como, como hacer un ajuste fino en un modelo preentrenado.

[@tino94]

Mi vieja GPU aparentemente no es compatible (AMD rx 570) asi que va a puro CPU 🥵

[@MercuryAR]

CodeGPT se puede conectar a ChatGPT?

[@luiggymacias5735]

no pues, chatgpt es la interfaz, solo existe una, lo que se puede conectar es a los modelos de openai como gpt 4, para eso necesitas el api key, pero no es gratis te cobran por token dependiendo de que modelos elijas te sale mas barato o caro

[@MercuryAR]

@@luiggymacias5735 O sea que en este caso no te sirve ser usuario de pago en ChatGPT, para integrarlo digo

[@Johan-zs9xh]

Que dizes tio !!

[@Christianlvm22]

Necesito un super pc?

[@fcomosan]

y con esta implementacion, te autocompleta el codigo, asi como lo hace copilot?

[@FaztCode]

Aun no, pero esta semana actualizan la extensión para que también permita autocompletar

[@fcomosan]

@@FaztCode ah buena noticia. Lo dejare descargando para probarlo. Muy buen video Fatz

[@_holamellamojesus]

Que tema usas en vscode?

[@FaztCode]

Este se llama tokyo night dark

[@_holamellamojesus]

@@FaztCode gracias

[@nilobrayanvallejopablo564]

asu a ti te corre muy rápido xd en mi pc demora demasiado

[@cristianbustamante62]

si tengo una tarjeta de video integrada AMD Ryzen 5 3400G ¿sirve igual? ¿cuanto de ram se necesita? saludos

[@kf_11]

De lo que he probado, con Ryzen 3 3200G, funciona sí, pero usa 100% del CPU, para la RAM en cuanto al proceso ollama_llama_server usa 4.6 GB, de la GPU integrada es muy poco el uso 400MB aprox. Tengo 16GB de RAM a 3200MHz Resumiendo, al menos con mi procesador la temperatura se va a 82 °C con disipador stock, no recomendable jaja a menos que le bajes la energía máxima al procesador a costa de que tarde más en responder o tener un disipador muy bueno. Podrías probar a ver cómo funciona el en Ryzen 5, no pierdes nada. Solo cuestión de ver las temperaturas, posiblemente con una gráfica mejore el uso del CPU.

[@cristianbustamante62]

@@kf_11 gracias por tu respuesta

[@ZeroCool22]

@@kf_11 Yo tengo: Ryzen 5900x GPU: Nvidia 1080 TI (11gb de VRAM) RAM: 32GB. Cual modelo me recomendás probar?

[@kf_11]

@@ZeroCool22 KZbin no deja poner links, pero hay un hay un post de GitHub. Los modelos van: - Modelo 7B - 4GB VRAM - Modelo 13B - 8GB VRAM - Modelo 30B - 16GB VRAM - Modelo 65B - 32GB VRAM

[@kf_11]

@@ZeroCool22 En tu caso se podría al 13B

[@leviatanMX]

lo malo es que solo se enfocan en lengujajes conocidos

[@FaztCode]

Debe ser por el entrenamiento que usan

[@ThePacmanPl4y]

La verdad es una herramienta muy simplona, y funciona solo en ingles y la verdad bastante mal, hasta con lmstudio. Nada interesante.

[@Elba_Nanito]

Si fazt está conmigo, ¿Quien contra mi?

[@alexanderpiero2052]

Si tu pc es una mierda ni lo piense

[@untalbj]

pta q lento xd