Fix Crawl Data Twitter - Tweet Harvest

[@taufiqhidayat8034]

Terimakasih banyak mas helmi. Berkat bantuannya saya selesai mengerjakan tugas akhir saya. Terimakasih mas

[@Hatano_Rin]

Bang kenapa ya waktu data mining gada yang dapet Total tweets saved nya hanya 0...saya udah coba ganti2 keywords bahkan sampe yang paling general juga tetep sama

[@BudiUtomo-qp6br]

Terimakasih kak Helmi karena kamu aku jadi tidak perpanjang semester dan bisa mengikuti semhas

[@nolepboy8148]

makasih bang untuk saya yang belajar data mining ini membantu sekalii

[@aporancak6739]

Mas, cara buat keywordnya bisa lebih dari 1 kata gimana ya? Soalnya saya udah pake tanda kutip dua pun tetep ga mau dia mas. Saya coba '"pinjaman online" since:2024-01-01 until:2024-02-01' tetap ga ngaruh😭

[@ryanputra5475]

Mas Helmi, kenapa data yang saya peroleh jadi sangat sedikit ya? kira-kira penyebabnya apa? Suwun, Mas.

[@yogaardiansah8113]

Up

[@ahmadhemdi2889]

Alhamdulillah, Terimakasih Mas Helmi, Sudah berhasil Crawling Twitter.

[@fauzanlubis9614]

Ambil yang versi 2.6.1 dimana mas?

[@lailymiroj]

@@fauzanlubis9614 nitipp

[@fiqriazharr1764]

up

[@Arganna]

Mass, saya mau scrapping 1000 data, tapi di stop hanya sampai 500 saja karena ketentuan twitter, nah itu jika saya langganan twitter apakah bisa sampai 1000 data yang bisa saya scrapping dalam sehari?

[@hanief_nief]

setelah di stop sampai 500, tunggu sekitar 15-20 menitan bang buat bisa crawling lagi

[@Arganna]

​@@hanief_niefMungkin ini mas, siapa tau bisa ditambahin fitur atau cara yang jika scraping 100 data dari tanggal 1 januari sampai 30 januari, datanya bakalan bisa keambil semua dari tanggal 1 sampai 30 januari, dan bukan berdasarkan limit 100 data (misalnya). Karena kasusnya di saya itu saya ingin scrapping 100 data dari tanggal 1-30 januari, tetapi hasil scrapingnya berhenti tidak sampai full 1-30 januari, jadinya dia berhenti berdasarkan limit yang udah di tentuin yaitu 100 data itu tadi. Mungkin fitur atau cara itu sudah ada di Tweet Harvest ini atau bagaimana saya mengerti, soalnya saya coba modifikasi malah tidak bisa jalan Tweet Harvestnya wkwkwk. Terima kasih banyak mas untuk informasi sebelumnya.

[@helmisatria]

prioritasnya tetep tweet yang terbaru, kalo emang mau ada data di hari-hari tertentu yg diinginkan, bisa crawl beberapa kali pake filter, trus nnt merge aja datanya. misal: crawl 30x, pake filter tanggal/date di tgl 1,2,3,4...29,30 masing-masing pake limit 3. udah tuh bakal minimal dapet 3 data per harinya. tinggal di satuin aja data csv/xls nya

[@Hor-wk3gp]

Terima kasih banyak kak, membantu bgt buat pengerjaan skripsi saya🙏

[@hendrikuskanjang2509]

Kak bsa ambl data?

[@Hor-wk3gp]

@@hendrikuskanjang2509 bisa, kenapa?

[@Hor-wk3gp]

bisa kak​@@hendrikuskanjang2509

[@Hor-wk3gp]

@@hendrikuskanjang2509 bisa kak

[@Hor-wk3gp]

@@hendrikuskanjang2509 bisa kak

[@nicknameno6207]

Pak... ada error sesudah "import pandas" pesan error : FileNotFoundError Mohon solusi pak terima kasih

[@ayshaputrisonia5316]

terimakasih banyakk masss, sangat membantuu. semoga dilancarkan rezeki dan urusan urusannya yahh. ditungguu berbagi ilmunya lagii

[@gilbertprathama6331]

mas, setelah dirun dengan keyword yang sudah saya masukkan, apakah normal apabila hanya muncul "? How many tweets do you want to crawl? › 78"? limitnya juga sudah saya masukkan, tapi nga mulai scroll setelah 10 menit🥲

[@Vio-o9j]

Halo kak. Aku juga dapet kendala kayak gitu. Kira-kira kamu udah bisa crawl belum?

[@a_02in]

​@@Vio-o9jkak kamu udah bisa belum 😭

[@Vio-o9j]

@@a_02in Aku udah bisa kak. Kalo aku nyoba, auth tokennya ga langsung dipanggil, tapi aku input manual gitu

[@nabilahizdihar9280]

bang ko aku nyoba selalu invalid twiter auth token ya bang

[@PcNosrati]

the code is not working for recent tweets and searching top tweets.

[@Aandhikads]

yes this is not available to crawl the top comment

[@galuhnap]

Thank you Mas Helmi. Anyway, apakah ada video yg bahas buat get quote tweet mas?

[@azammuhamadhoirulazamraaji6758]

maaf mas helmi saya tidak bisa crawl mentok 21 data, di keterangan ada update lagi, tolong mas buat skripsi :(

[@gurllwt]

ka kenapa ya dapet tweet nya sekarang dikit banget ya ka, padahal topik nya banyak kok di bahas waktu di search, kenapa hasil nya ga nyampe 100 ya, kalo 3 bulan terakhir bisa sampe 500an :(

[@mahesadias1530]

mass helmi kalo untuk mengambil dataset pada postingan itu gimana ya?

[@fahrezafanani]

terimakasih mas helmi sedikit pertanyaan, untuk data yg saya dapetin kok sedikit ya, kira2 faktor apa aja yang mempengaruhi ya mas

[@saifulamar7624]

assalamualaikum bang, kok di saya crawl nya cuma mentok diangka 100an padahal limit 800. mohon pencerahan nya bang 🙏🙏🙏

[@ShindiCahyandari]

Kak kenapa saya di cmd ketikan npx tweet-harvest@2.6.1 npm error code ENOENT, sampe bawah eror. Gimana cara ngatasinnya ya kak?

[@rendikanurhartantos.7940]

Halo, kak Helmi izin bertanya. untuk tweet harvest apakah bisa continuous Scrap gitu? jadi misalkan aku punya 10 auth token berbeda, aku mau dari 1 - ke 10 itu dia scrap data yang tentunya tidak sama satu sama lain, jadi kayak berkelanjutan, meski mungkin run nya satu satu dan ganti auth token gitu manually, bisa gak ya kak? karena aku buutuh 10k data tweet, buat tugas kampus, nah ini aku mau lakuin pake banyak auth, mohon bantuannya, karean kemarin saya coba ternyata kalau ganti auth itu hasil scrap nya sama. mungkin ada saran kak🙏🙏 edit: ini saya kan coba lihat di blog nya kak helmi, "Cara Mendapatkan Data (Crawl) Twitter X - Maret 2024" nah itu rate limit, sama limit dari pak Elon itu sama atau beda yah? karena saya kemarin kena limit jadi 1 akun ke limit 600an gitu, sedanhgkan disitu statment dari kakaknya bisa dapet hingga 2500an data yah, minta tolong bantuannya kak 🙏🙏

[@muhammadalifbudiman2959]

meskipun udah kena limit scriptnya bakal tetep jalan, tunggu aja sekitar 10-15 menit nanti bakal otomatis lanjut scrap lagi

[@rendikanurhartantos.7940]

@@muhammadalifbudiman2959 oh iya bang udah aman kok. Baru sadar gw bisa lanjut

[@rendikanurhartantos.7940]

@Fauzansitepu oh iya ini masuk akal juga, baru kepikiran. Thank you bang

[@gataudah9402]

Ka apakah ada kontak yang bisa dihubungi agar bisa bertanya lebih lanjut?

[@ilhmmalif]

assalamualaikum bang helmi, sebelumnya thanks bgt udah buatin tool ini, saya mau nanya juga bang buat search keyword yang lebih dari SATU KATA itu tutornya gimana yah

[@helmisatria]

Waalaikumsalam, pake OR/AND ya. "jokowi OR kaesang" -> cari tweet yang ada kata jokowi ATAU kaesang "jokowi AND kaesang" -> cari tweet yang ada kata jokowi DAN kaesang

[@ardiandani2597]

Tolong fix supaya bisa ambil emoji juga mas, seperti versi yang lama terima kasih

[@helmisatria]

Kalo buru buru, bisa bantu contribute utk fix ini sendiri di repo ini mas github.com/helmisatria/tweet-harvest

[@amandaselviaulia3184]

Kak saya mau Crawling data dari tahun 2022-2024 tapi yang muncul kok hanya di tahun 2024 ya kak

[@harimubarok3759]

kendalanya sama kak. Apakah sudah menemukan solusinya kak? saya coba otak-atik masih belum dapat solusi.

[@AskaraHeru]

Mas helmi, mau nanya. Kalau untuk crawl data facebook dan media online pakai apa yahh mas? minta tolong bantuannya mas buat penelitian. mungkin bagi tips dan sarannya mas

[@gataudah9402]

Izin bertanya kak, kan tweet harvest itu hanya menggunakan auth token Twitter. Padahal ketika ingin melakukan crawl perlu API. apakah ada penjelasan nya mengenai hal tersebut, kak?

[@xurts_gam]

mas tetap gak bisa 😭😭😭

[@helmisatria]

@@xurts_gam gabisanya gmn tuh?

[@divanisfumustika7971]

saya barusan bisa mas, coba dicek lg ada salah ketik tidak soalnya sblmnya saya gabisa krna salah ketik

[@xurts_gam]

@@helmisatria aku minta maaf bang, alhamdulilah sekarang udah bisa. sekali lagi maaf bang 🙏🙏

[@tsanialm]

mas .. ini saya nyoba pake coding yang mei .. kok masih gak bisa ya? apa sudah harus diganti lagi atau gimana ya ?

[@fahmirezap6008]

bang habis rate limit kok gak auto scroll lagi ya malah error "[v2.6.1] TimeoutError: page.click: Timeout 60000ms exceeded."

[@lelegabut5084]

up

[@oktovanagung2213]

sama gitu juga

[@chelsyyalfira6248]

ka kalo di twitter cookiesnya ga muncul kenapa ya?

[@Alkisahdunia-jaman]

kenapa display data framenya tidak muncul

[@FathulUmamOOC]

Maaf bang, ini saya lakukan pencarian di pencarian Twitternya dengan Lang:id dan mau ambil data pada tgl 6 itu ada, tapi saat dilakukan proses Crawling dengan g colabmya itu kog ga dapet datanya itu bagaimana ya mas?

[@PcNosrati]

not working anymore

[@kizuna2998]

kak, kenapa emoji tidak muncul pada text yang di crawling?

[@raisaazka1721]

Aku kok masih invalid terus ya kak padahal sudah ganti versinya, terus aku juga udah make dua token tapi dua duanya tetap invalid, kira-kira kenapa ya kak ? mohon bantuannya kak🙏

[@agamasyhari2935]

sama nih, gimana ya ?

[@bayuleonardo76]

2.6.0 diganti jadi 2.6.1 kak​@@agamasyhari2935

[@picosh4416]

Bang klo berenti karena exceed the twitter limit gimana

[@Shinharamia]

Yang penelitiannya butuh data dr Twitter (X) misal analisis sentimen, apakah tetap lanjut ditengah isu X akan diblokir kominfo? :(((((

[@khalilahandriani]

Mas mau tanya, kalau ambil tweetnya di satu tanggal khusus, itu caranya gmn yaaa???

[@expresseo5218]

Mas mau nanya lagi, kalau misal hari ini saya crawling, besoknya crawling lagi dengan keyword yang sama persis. Itu hasilnya akan sama atau jadi beda? Karena saya sekali crawling bisa hanya dapat ≈50 tweet

[@lailymiroj]

kak output nya timeouterror

[@fitriaasarii]

halo kak, yang versi ini ternyata invalid twitter auth tokennya kak.

[@oktovanagung2213]

kalo udah sampe 600an data di ambil pasti muncul error gini terus [v2.6.1] TimeoutError: page.click: Timeout 60000ms exceeded. Call log: - waiting for locator('text=Retry') kenapa yaa kira kira bang?

[@raihnnc]

Sama nihhh

[@HafidzAinurrafiqi]

Permisi mas ini beberapa hari ini saya coba crawling pakai script yang terbaru kok cuma mentok berhenti 100 jumlah tweet yang berhasil di dapatkan ya.. padahal limit sudah saya besarkan dan kata kunci yang digunakan juga harusnya bisa mendapatkan lebih dari 100 tweet

[@fafanmaulana2015]

sama

[@Kurakuraoenyu]

Bang tolong bantu saya coba lg pas install pandasnya tetep di v.20.16.0 gamau berubah ke 1 :(

[@mashadinoor]

Thanks a lot bro! You save my day!

[@FathulUmamOOC]

Maaf bang, untuk sekarang data yang di crawl kog cuma 20 an ya kadang malah nggak dapet saya coba di semua akun saya seperti itu jarang bisa dapetin 100 knpa ya?

[@learnearby]

sama saya juga mentok 90an mas

[@mentega_terbang3854]

Hi, link Gcollabnya dimana ya?

[@reeesy8266]

Sebelumnya thankyou kak untuk ilmu nya, sangat membantu banget dalam penelitian saya. Saya ingin bertanya kak, untuk crawling / scraping data dari aplikasi threads punya instagram menggunakan keyword tertentu apakah kakak tau caranya kak? Mohon bantuannya kak.. terima kasih banyak sebelumnyaa

[@stanleychukwuemeka8841]

Apakah masih memungkinkan untuk mengumpulkan jutaan cuitan dengan metode ini karena saya ingin membangun model AI menggunakan data teks. Tolong beritahu saya bagaimana cara melakukannya jika memungkinkan.

[@jetrinarfan]

Bang, maaf tampilan datanya mengapa berantakan sekali ya bang ketika di eksport dalam csv? Padahal sebelumnya baik-baik saja.

[@lukmanulhakim1758]

Hari ini coba kok invalid auth token ya bang?

[@Ethernallsunshine]

Halooo, disini ada yg tau ga kalo dapet data seperti ini bisa dibuat visualisasi peta sebaran pengguna twitter tidak ya?

[@tamaranainggolan4475]

mas kok saya masih invalid token ya padahal sudah ikutin langkah2nya sesuai. ganti akun juga sama aja

[@Vio-o9j]

Halo kak. Aku juga nemuin kendala yang samaa. Kira-kiraa kamu udah bisa crawling belum sekarang?

[@divanisfumustika7971]

mas ini kan pas saya masukin limit 1000 misal tp yg keambil 100 itu kenapa ya kira2?

[@masnaarinaputri9041]

saya masukin limit 1000 yg keambil cuman 448

[@hwangguangheng]

mas mau tanya kalau mau ngambil tweet bedasarkan waktu itu bagaimana ya?

[@azuresakamichi96]

Cek video sebelumnya gan yg maret dijelasin juga itu

[@Algorizmi]

terimakasih banyak sudah mengajarkan saya data mining, serta diajarkan juga untuk data crawling pada x

[@arshielnaufal540]

mas kalo mau lanjutin data dari crawling yang sebelumnya gimana?

[@rzqesmer]

terima kasih kakk, sangat membantu dalam proses skripsi, doakan supaya skripsi saya lancar

[@pinkzlemonade9249]

kakk kamu bisa buat scrapping data nya ga?

[@TujiRoe]

Kak, setiap crawling saya mentok cuman 100, 200 an doang ya kak gak bisa lebih, itu gmana ya kak biar bisa nambah banyak :)

[@hanifaazzahra1269]

kakak bisa ambil datanya? kenapa di saya gabisa ya huhu, kaka pakai codingan yang sama kan?

[@TujiRoe]

Iya, codingannya sama kok, gak bisanya kenapa kak?

[@hanifaazzahra1269]

@@TujiRoe gatau juga kak, pas proses crawl data nya ga muncul malah error kata kata yg muncul itu ada timeouterror, timeout 60000ms exceeded masi banyak lagi, padahal udh sama persis kaya yang di video

[@luqandpal]

makasih banget bangggggg ini tugas buat topik sidanggg banggg, sehat selalu panjang umur ya bang

[@ilhamikhwan6587]

Kak ini apa bisa digunakan untuk crawling data pada akun tertentu saja (bukan keyword) ?

[@desywulansari-lb4ep]

Kak kalo saat crawl data terus muncul kata how many tweets do you wanti crawl? ?7?8 bagamana yah kak? Dan apakah memang proses nya itu butuh waktu yang sangat lama atau bagamn kak? 🙏🏻

[@naanaasnaanaas]

ganti akun kak, x mu kena pelanggaran itu🙍🏻‍♀ sama kaya punyaku

[@desywulansari-lb4ep]

@@naanaasnaanaas ohhiya kak, terima kasih infonya🙏🏻

[@kale9980]

@@naanaasnaanaas Makasi Infonyaa

[@a_02in]

​@@kale9980setelah ganti akun twitter bisa ka?

[@pinkzlemonade9249]

mas, auth token nya disaya kok masih invalid yaa? tweet harvestnya udah saya ganti jd 2.6.1

[@naanaasnaanaas]

coba cek akunnya kak, aku gnti akun bisa soalnya akunnya kena pelanggaran

[@pinkzlemonade9249]

@@naanaasnaanaas aku udah ganti akun ka tetep gabisaa

[@hendrikuskanjang2509]

Kak masih belum bisa ambil data, solusinya bagaimana kak?

[@beensxnghb]

Kak, versi sekarang tuh emg ada limit jumlah tweet yg ke ambilnya kah? Aku pernah crawl data pake versi bln maret bisa dapet up 500+ tweet, skrng dgn keyword yg sama di coba lagi cuma bisa ambil data tweet nya dibawah 100, meski udah di set limit nya sampe 1000 pun :(

[@anggiputrifamungkas656]

Iya kak, aku pun😢

[@beensxnghb]

@@anggiputrifamungkas656 kirain aku aja :( bingung bgt data yg ke ambil knp beneran dikit, gatau gimana ngakalin nya....

[@syahraniratna]

Kak kalau mengambil informasi akun bis ga ya, misal jumlah followers jumlah following gitu gitu. Querynya gimana ya?

[@FathulUmamOOC]

Bang, ini pas nampilin display hasil crawl nya , itu muncul cuma 0, sekian detik trus ilang itu gmna ya?

[@helmisatria]

Eh ga pernah ngalamin ini sih, mungkin bisa dicoba lagi?

[@muhamaddaffa1727]

Terima kasih banyak atas tools nya mas, sangat membantu penugasan saya. Saya mau nanya, apakah ada cara terbaru untuk mengambil auth token dari twitter? karena saat saya jalankan dengan program yang lama itu error di auth token terus menerus

[@IndraIndra-cu2xv]

Terima kasih banyak Mas Helmi atas pencerahannya, Alhamdulillah membantu riset data Twitter kami.

[@susijumiati]

Boleh minta syntaxnya bg🙏

[@septia1111]

Di blog nya kok belum ada script yang terbaru ya kak? Liatnya dimana ya🙏

[@naanaasnaanaas]

masih sama kak, tinggal ganti versi nya aja jdi 1

[@tyahafsha]

mas terima kasih banyak tutorialnya. tapi mau tanya, kenapa di saya setelah crawl data 100an, ga otomatis crawl lagi ya? --Taking a break, waiting for 10 seconds... Got 112 tweets, done scrolling... habis itu ga jalan lagi, sudah ditunggu 15 menit. knp ya?

[@naanaasnaanaas]

iya kak jadi dapetnya sedikit aja, limitnya turunin ke 500 aja kak, aku dri 100an jdi bisa 400-500an

[@arobirotwiranto2079]

maksih mas untuk updatannya tapi ini kalo mau mencapai limit sistemnya malah tiba-tiba berhenti kenapa ya

[@airdrop61]

kalo ambil beberapa keyword itu gimana ya mas?

[@vinzwyvern6546]

tenkyu banget updatenya Mas.. Oiya, yang prosesing SNA menggunakan data tweet harvest bisa dibikin tutorialnya kah? atau adakah cara untuk ngerubah CSV ke file gephy gituuu? Tenkyuuuu..

[@FathulUmamOOC]

Bang krnapa sekarang jarang bisa dapet data nya nya malah kebanyakan ga dapet kalau pun dapet pun cuma sedikit banget

[@alfirafn2556]

Makasii kak updatenyaa, pas banget minggu ini deadline skripsi. Meskipun dapet tweetnya ga banyak tpi yang penting bisa huhuu

[@fafanmaulana2015]

kok kena limit ya mentok di 100 an

[@3ia02_daffaraditya3]

Terima kasih banyak mas, semoga rezekinya dilancarkan

[@khaedaris]

link nya dimana ya bg? link video lama masih versi 6.0 plss

[@naanaasnaanaas]

langsung ganti aja ka di gnti mnual di ketik, yng di bgian crawl data, 0 nya di gnti 1

[@khaedaris]

@@naanaasnaanaas sayangnya tetep invalid auth token 😭😭

[@naanaasnaanaas]

@@khaedaris akun kmu kena pelanggaran ke nya, jdi read only gitu. aku gnti akun x bisa ka

[@muhammadfauzanrianto4847]

Bang buat cara crawling data komentar buat instagram

[@asririzkaamelia1562]

okee ka makasih banyak, sehat sehat orang sehat

[@azkaluthfanrudiana397]

makasih banyak bang, membantu banget dalam penelitian buat skripsi saya

[@yonatany.anggara7491]

kok saya ngga bisa yaa?

[@raihansyah1337]

mas kl crawling komentar kok engga bisa dapet semua komentarnya ya?

[@adeprasetia2030]

Terimaksih banyak bang semoga sehat slalu sukses slalu dan slalu bermanfaat bagi banyak orang 😊

[@rajaalfiansyah181]

Terimakasih kak , semoga dilancarkan rezeki nya dan sehat selalu

[@dimassuhada1230]

Mkasii bgg ❤, next scrapping playstore juga dong bg, da makin susah dapet datanyaa 😭

[@073_sitinurazizah]

Masya'allah. Terima kasih banyak kak, terima kasi buat membantu penelitian skripsi 🙏

[@FathulUmamOOC]

terimakasih banyak bang, sangat membantu😁😁😁

[@yasintawsp5348]

Terima kasih kak, ini membantu banget buat kita yg baru skripsian. Oh iya kak mau tanya, misal hari ini udah sampai limit crawling, hari selanjutnya masih bisa crawl lagi nggak ya? Terima kasih 🙏

[@roninababan1239]

bang tweet harvest benar abang yang buatkah? soalnya saya mau masukan nama abang diskripsi saya

[@helmisatria]

Betul. Semoga manfaat ya, lancar skripsinya

[@DidinSaadduddin]

Makasih mas, udah dari kemarin erornya... sangat membantu

[@hilo5636]

terima kasih banyak kakk sangat membantu 🙏

[@elenfadillaestri655]

thank you bang

[@muhammadthoriqazdzaky3277]

Masya'allah. Terima kasih banyak kak, terima kasi buat membantu penelitian skripsi

[@hendrikuskanjang2509]

Kak bsa ambil data?

[@ayuzumrotulkh8425]

Makasii banyak kak tutornya🤗

[@faizrosyid]

Makasih banyak Mas🤩

[@Dymasta]

Bang gak ada yang tiktok?

[@TriAllanSiddiq]

thankyou banyak banyak abangda