4) Proje Oluşturma & DB Bağlantısı | Puppeteer ile Crawling Projesi Geliştirme

[@InspireRiseM]

Abi iş bulmak için .net mi node.js mi ? hem js hem de c# bilgim var temel düzeyde. yardımcı olursan sevinirim abi. 3. sınıfım.

[@endrcn]

Sorduğunuz soru hedeflediğiniz yere göre değişir. Kurumsal firmalarda çalışmak isterseniz daha çok .Net ya da Java üzerine yoğunlaşılıyor. Ancak startup firmalarda çalışacaksanız o zaman Javascript üzerinden NodeJS ile ilerleyebilirsiniz. AI üzerine ilerleyecekseniz Python ile bir şeyler yapmanız gerekebilir. Dolayısıyla kendinizi bir programlama dili ile kısıtlamak hata olur. Onun yerine sistemlerin mimarilerinin nasıl işlediğini anlamak ve ihtiyaca göre dil seçmek daha iyi olacaktır. Bir dilde derinlemesine hakimiyet önemlidir ancak bence daha önemlisi sistem mimarisi hakimiyetidir çünkü hangi dille geliştirme yaparsanız yapın eğer sistem mimarisini kafanızda oturtamazsanız bocalarsınız.

[@suspectonfire]

dostum puppeteer ile mongo kullaniyorum ayni sekilde nextjs icinde fakat localde sorun yokken ne yaptiysam deploy ederken netlify vercel ya da aws s3 serverlarinda puppeteer icin chromium calistiramadim bi fikrin var mi deploy hakkinda nasil sorunsuz yapariz?

[@suspectonfire]

localde calistirip puppeteeri online bi database’e kayit atsak localeden sonra next js app ile db baglanip mi cekiyoruz yoksa puppeteer online da calisabiliyor mu?

[@endrcn]

Puppeteer ile browser açtığınızda altta bir browser açılıp kapanıyor. Bu da sunucuda yapılamadığı için soruna sebep oluyor. Bunun önüne geçmek için headless modunda açmak gerekli. Şu şekilde deneyebilirsiniz: const browser = await puppeteer.launch({ args: ['--no-sandbox', '--disable-setuid-sandbox'], headless: true, }) Tabii bununla birlikte userAgent tanımları da yapmak lazım çünkü web sayfaları headless browser'dan geldiğini anlayınca engelleyebiliyorlar. İlerleyen videolarda bu konulara da değinmeye çalışacağım. Umarım faydası olur.

[@suspectonfire]

@ user agent harici bu no sandbox u vesaire denemistim fakat bunun yerine bright data ile puppeteer-core kullandim suan deploy edince sorun cikmadi sasirdim ama vercelde maxDuration var 60 saniye suruyor serverless functionlar bu da scraper suresini kisitliyor puppeteer’ı next js ile api olarak kullandigim icin mi serverless function olarak goruyor yoksa puppeteer ile yazdigimiz butun scriptler bu sekilde mi kategorize ediliyor