Cara crawl data twitter lebih dari 1500 tweets - 18 Oct

[@irsyadnabilputrahansa352]

Terimakasih banyak mas helmy, sangat membantu saya dalam tugas kuliah!!

[@ranggadwipraditya2691]

terimakasih banyak mas helmi, sangat membantu penelitian buat skripsi saya. sehat selalu mas

[@bahasasing3049]

trims banget tutornya, bang... bermanfaat banget ini mah, apalagi aku lagi skripsian ini, sukses selalu, bang✨

[@DuniaAprinala]

Terima kasih banyak untuk sharing nya mas Helmi. Sharing juga dong mas Helmi untuk sosmed lain selain twitter

[@GumitiKosodu]

Gila, keren banget lu bang selalu update. Moga selalu berkah

[@andrekrisna1854]

terimakasih banyak mas, sangat membantu untuk penelitian 🙏

[@Syafira-j5d]

Makasih yaka, aku butuh bgt tutorial ini. Krena aku lagi penelitian dan bingung bgt harus gimana

[@zuhriklanentertainment6326]

aku lagi butuh banget iniiii buat ngambil data buat tesis ku,,,, makasih kak helmi... sukses selaluuuuu

[@dyahoctavia984]

Thankyou kak, it's really helpful. Berkah selalu kak.

[@lil_croiss_ant]

Thank u bang... You are my saviour... Sangat bermanfaat buat skripsian

[@AntoniusRagaLaweIIII]

sangat berguna kak kebetulan saya butuh nyari dataset buat skripsi untuk machine learning

[@vegaputra1862]

makasih banyak mas, izin digunakan untuk kebutuhan skripsi mas 🙏

[@aldhifadillah4890]

terimakasih mas 🙏 pas banget lg ada tugas kuliah, dan minim duit buat langganan API Twitter 😅

[@hilmiammar593]

sama nih, mau pake rapidminer udh gk bisa buat twitter jadi pake ini deh 😂

[@azzabimantara195]

Mas @helmisatria , mau tanya apakah memang tweet harvest ini tidak menampilkan atribut data tweet seperti jenis tweet atau target tweet (apabila ia mention/reply)? Soalnya akan sangat berguna untuk visualisasi dengan Gephi. Kalau memang tidak, adakah cara untuk menampilkannya entah revisi kodenya atau pengolahan hasil crawling-nya? Terima kasih banyak sebelumnya

[@navymalfunction9710]

codenya kalo dipake di notebook vscode kenapa ga jalan ya? tulisannya auth error. tapi kalo pake colab bisa

[@tiwi9444]

bang kalo udah limit di 800 tapi ga ngelanjut sendiri kaya yg divideo malah stop run itu kenapa ya bang?

[@godzilafirefox590]

sekali lagi terimakasih. anda menyelamatkan tesis saya

[@Dosenpemula]

Terimakasih bang, Mantap sangat membantu buat riset,

[@RISKYAOFFICIAL]

If you need help, please send this error screenshot to the maintainer, it was saved to "/content/tweets-data/Error-07-02-2024_19-14-10.png" setiap crawling data muncul kayak gini kenapa ya kak?

[@officialgarbage-s5i]

Bang izin tanya, kalau kita kasih constraint periode waktu xxxx s/d yyyy kira2 memungkinkan kah untuk crawl skrg? trims

[@herikariskydinanti3076]

kak buat tutorial preprocessingnya dong

[@irsy-noad]

mas, kenapa sekarang sudah tidak bisa ya mas?

[@helmisatria]

Barusan upload nih updatenya, boleh cek disini ya kzbin.info/www/bejne/eKnVqnWLqbqke80

[@anggaseptiana7353]

Bang izin digunakan untuk skripsi🙏 Terima kasih sebelumnya bang, sukses selalu berkah ilmunya bang🙏

[@helmisatria]

Semoga lancar skripsinya!

[@anggaseptiana7353]

Aamiin. Terima kasih bang😇

[@HILMIAMMAR]

izin gunakan untuk skripsian kak, mkasih

[@Mattdilino]

Makasih banyak Mas Helmi, mohon izin untuk bisa akses ke colabnya 🙏

[@Miftakyu]

bang helmi mau tanya kalo pas nyoba pesan nya gini " browserType.launch: Target page, context or browser has been closed " gimana bang mohon di jawab

[@penifam5483]

Bantu jawab mas....buat teman yg tweet Harvest y update coba ganti fersinya jadi 2.3.0 saya coba work soalnya

[@kurniawanramadhan6620]

makasih gan membantu sangat

[@harryfajarmaulana3481]

mas buat conten scraping di web berita dong

[@muhamaddaffa1727]

Halo bang helmi, sebelumnya terima kasih udah update untuk toolsnya. saya izin minta hak akses untuk google colab nya bang. Semoga selalu berkah bang 🙏

[@helmisatria]

Haloo, harusnya udah yaa 👍

[@kidnapin-b2j]

hai kak, kalo mau tarik data tweet beserta reply annya gimana ya kak?

[@ihsanasharichannel]

Terima kasih mas Helmi, sangat membantu 😇

[@una-tm1rq]

kak kalo ada kayak gini: 'sudo' is not recognized as an internal or external command, operable program or batch file. itu kenapa ya?

[@enggarmuhammad6433]

Izin bang saya pakai ilmu nya di skripsi saya

[@MuhammadIqbal-qs4cm]

mas helmi terimakasih mas atas ilmunya minta izin mas untuk dibukakan hak akses untuk google colab nya bang. Semoga selalu berkah bang

[@lailaaulia8460]

Makasih bang, tapi bang saya cuma dapet 200an😌 padahal butuh 1000 lebih. Terus itu kalo berantakan gimana ya bg benerinnya?

[@tinysize]

Kalau timeout cek rate limit nya kita tambah, apa mungkin bisa jadi workaround untuk mencegah kena ban mas? Let’s say daripada check setiap menit, kita bakal nunggu lebih lama 2 menit dari sebelumnya kalau masih kena limit (1, 3, 5, etc). Pros nya kemungkinan kena ban berkurang. Tapi cons nya waktu tunggu bisa lebih lama. Wdyt mas 🙏

[@helmisatria]

idenya bagus bgt inii, kita coba improve berikutnya. Eh kalo mau contribute ke repo nya boleh loh 🙈 github.com/helmisatria/tweet-harvest

[@aryacb6472]

tengkyu battt bangggg, lagi ngerjain skripsi nih

[@Yueeee-hz6zx]

Izin mas aku gunakan untuk skripsian, terima kasih mas

[@rekomendasispill-ku5gf]

bang mohon izin aksesnya untuk keperluan skripsi

[@irland128]

Izin akses untuk keperluan ngajar dikampus yah ka

[@pawlineee]

Terimakasih kak, ijin buat skripsi ya kak, sangat membantu bangettt 👍

[@bagushikmawan6421]

Sorry Kak. Buat scriptnya masih bisa ngga, Kak? Soalnya aku nyoba tadi pagi ngga bisa huhu.

[@helmisatria]

gabisanya dimana ya? error yg muncul apa? soalnya abis dicoba keliatannya masih aman sih

[@reeesy8266]

Sebelumnya thankyou kak untuk ilmu nya, sangat membantu banget dalam penelitian saya. Saya ingin bertanya kak, untuk crawling / scraping data dari aplikasi threads punya instagram menggunakan keyword tertentu apakah kakak tau caranya kak? Mohon bantuannya kak.. terima kasih banyak sebelumnyaa

[@aqlaniwafi8312]

Terimakasih bang🙏🏻🙏🏻

[@aryanto5135]

Makasih Mas videonya sangat bermanfaat

[@ErenYeager-g3k]

Bg kalau mau ambil data dari bulan oktober sampe bulan juli gimana ya caranya?

[@muchammadfarchanfachrudin567]

halo mas helmi, mau tanya kalo semisal untuk keywordnya kita custom sendiri dari "advanced search" twitternya kayak contohnya menggunakan spesifik keyword contohnya ""keyword tertentu" (keyword OR kata OR kunci) lang:id until:2023-01-01 since:2020-07-20' data yang terambil cuma menggunakan kata "keyword" saja ya dan rentang waktu pengambilannya menggunakan tanggal terbaru, apakah tidak bisa menggunakan tanggal yang digunakan pada until dan since? barusan aku coba data yang diambil hanya menggunakan kata kunci "keyword" dan tanggal yang diambil merupakan tanggal terbaru. Mohon solusinya ya mas terima kasih

[@kristianeka]

sama juga kak, terus data yang terambil bila keywordnya banyak padahal makai OR semua entah kenapa jauh dari limit yang ditulis.

[@kikoreiki454]

Nice bang, minta aksesnya please 🙏🏻. Buat keperluan riset

[@bintanghutagalung]

bang, di sy time out terus, ga kyk punya abg yg bakal jalan terus sampe dpt limit yg di-input. sy make versi 2.6.1. solusinya gimana ya bang?

[@sitompuldani8860]

keren bang. izin digunakan untuk tugas akhir

[@okyadeirmawan5585]

Bang bisa gak untuk pencariannya ada filter by retweet_count misal lebih dari 10?

[@josephineprb]

Halo mas, terima kasih untuk sharingnya. Saya mau bertanya mas, bagaimana dengan case scraping di google play ya mas? karena beberapa bulan terakhir google play mulai membatasi hasil scraping sehingga tidak bisa mendapatkan hasil lebih dari 1000an, hanya sekitar 199 saja. Terima kasih sebelumnya mas

[@lenarismawati5070]

Kenapa ya waktu di import pandas as pd, error

[@helmisatria]

Coba pake yg versi terbaru aja ya kzbin.info/www/bejne/eKnVqnWLqbqke80

[@unisiswahyudi]

Makasih bang ilmunya sangat membantu

[@mazwinedutainment7688]

Bang, tutor dong untuk crawling data review di goole map..

[@CintaBudian]

gokss,akhirnya ketemu buat crawling datanya,apakah berkenan untuk aksesnya kak hehe untuk keperluan tugas kuliah

[@mirfann4971]

mohon maaf mass kalo mau ngecrawl datanya yang berbeda tangga gimana ya

[@muhammadquraisy3137]

Mas helmi, apakah ada kontak mas helmi? Mau ngobrol lebih lanjut mas kalau boleh

[@rikihikmianto543]

halo kak saya mencoba membuatnya pada vscode tapi kok pada bagian # Install Node.js tidak bisa lanjut terhenti tapi kayak required password tapi inputannya nggk ada. terimakasih sudah menjawab

[@maphackforfun]

Ada tutur buat scrape followers nya gk bang ?

[@hermila3386]

terimakasih mas

[@kzerenity4]

keren mas. izin minta akses ke collabnya buat kepentingan skripsi dong mas 🙏

[@anoramu2993]

oke bang, ini mau ambil dari tangal berapa ke tangal berapa bisa nga bang?

[@kamilamila7020]

Mas ini untuk website booking hotel bisa tah mas ?

[@arisyafri5863]

Terimakasih bang

[@satriaardhi3732]

kak apakah rapidminer masih bisa digunakan?

[@septianbagusprasetyo3821]

Bang, buat dong crawl data twitter berdasarkan profile, jadi bisa ke get data Tweet, Retweet dll nya hehe

[@helmisatria]

Boleh bisa jadi bahasan berikutnya ya 👌

[@helmisatria]

@fetraardianto makasii, appreciate it 🙏

[@muhammadzaahid3017]

Dukung yang ini bang helmi semoga ini yang dibahas nanti

[@senzaura6786]

Up mas, saya mau langsung berdasarkan profile gini. Big thanks buat Mas Helmi, wrapped so well 🙌

[@lestarialusyr5522]

​@@helmisatria ayok bang ditunggu video update nya buat skripsi saya🥹

[@leetaeyong6378]

Kak kenapa habis crawl data malah gini? Filenya gak bisa dilihat import pandas as pd # Specify the path to your CSV file file_path = f"tweets-data/{filename}" # Read the CSV file into a pandas DataFrame df = pd.read_csv(file_path, delimiter=";") # Display the DataFrame display(df)

[@veteran6951]

sama bang

[@aqilajasayu2101]

makasih banyak kak helmi sangat membantu

[@HeyyoNaiyya]

Makasih bang! Mau tanya kan abus ini ada tahap preprocessing ya, nah itu pake app/tools apa ya?

[@helmisatria]

preprocessing bisa pake python ya, video ini cuma dapetin datanya aja. Untuk datanya mau diapain aja bisa di python nya

[@vin7758]

izin requestmya bang buat skripsi saya

[@senzaura6786]

Yang ada masalah No matching version, mungkin bisa pake versi 2.3.0

[@bar616bar]

Makasih banyak bang

[@bar616bar]

Makasih bang

[@puspagarw02pakal]

makasih banyak mas.. sukses selaluu

[@helmisatria]

Iya ini bisa 👍 atau kalo butuh yang lebih stabil bisa pake versi terbaru kzbin.info/www/bejne/eKnVqnWLqbqke80

[@rekomendasispill-ku5gf]

bang misal kita tambahin tanggal disamping keyword apakah bisa?

[@diahrahmawati8542]

Kenapa aku gabisa menghasilkan data ya ka setelah 40 menit? Hanya muter aja gaada error minor atau yg gimana2

[@palskuy4427]

Itu hasil dari crawl data bisa dibuat project nlp ga sih?

[@miuf4946]

izin request access bang untuk kebutuhan skripsi

[@yunitahappy]

terimakasih bang, boleh minta izin akses untuk keperluan tugas akhir?

[@azammuhamadhoirulazamraaji6758]

bang mau tanya apa ada update dari tweetharvest

[@helmisatria]

Barusan upload nih updatenya, boleh cek disini ya kzbin.info/www/bejne/eKnVqnWLqbqke80

[@titinurhalimahhidayah5164]

Makasih mas helmi. cara supaya yang keluar ngga di 1 hari aja gimana ya mas? saya coba soalnya yang keluar cuma tweet di 1 hari saja

[@zarifnazif178]

salam perantauan bang helmi, i already request for an access for the google colab, thank you in advance.

[@kucluk7986]

mohon izin requestnya bang

[@ariffajarpangestu1899]

hai kak, boleh minta tolong cara agar crawling tweets menggunakan waktu postingnya ?

[@gitacitrapuspita3969]

Kak, bagaimana caranya untuk dapat status verifikasi dari akun - akun yang membuat tweet tersebut?

[@helmisatria]

ini harusnya bisa di dapet sih, tapi sekarang alatnya blm bisa

[@officialgarbage-s5i]

terima kasih banyak Bang Helmi, smoga makin berkah, mohon izin berkenan untuk share hak akses ke collabnya, izin digunakan untuk keperluan tugas akhir. terima kasih Bang

[@helmisatria]

harusnya udah yaa 👍

[@syalwadea]

halo kak, sy juga minta akses codenya, terimakasi@@helmisatria

[@aprilianifani3369]

halo kak, apakah bisa crawling tweets menggunakan waktu postingnya? maksudnya ada jam menit dan detiknya, soalnya sering tu kena limit dan mau lanjutin setelah waktu yang di dpt terakhir crawl

[@helmisatria]

Eh yg sekarang itu udah ada kok waktunya, harusnya header di kolom csv nya namanya created_at

[@aprilianifani3369]

contohnya gini kak, aku crawling pake keyword "gibran" satu hari di tgl 1 nov 2023 terus kena limit, setelah diperiksa tweet terakhir yang di dpt cuma sampe tgl 1 nov 2023 dengan waktu 23.00 - 14.00. Ada ngga cara lanjutin crawling jam 13.59-00.00 gitu kak?

[@helmisatria]

@@aprilianifani3369 wah kalo sampe detail jam nya setauku gabisa deh, cuma bisa berdasarkan date nya aja. Stop crawlnya di hari berikutnya aja kan sekarang udah bisa berlanjut terus tuh walaupun kena limit, sabar nunggu aja 😅

[@riskaparadisona4670]

Bang kenapa di saya tweet harvestnya error bg,apa ada perubahan versi bg?

[@RamdanFarizi]

Kalau mau ambil data berdasarkan rentang waktu tweet atau waktu tweet gimana ya kak?

[@aldhifadillah4890]

di search keywords pakai "until:2023-10-28" jadi crawlingnya dimulai dari 28 oktober kebawah -> 27, 26, dst

[@jeremiajordansihombing2084]

​@@aldhifadillah4890buatin contohnya dong kak masih agak bingung craw twett berdasarkan tanggal

[@kristianeka]

Permisi mas mau tanya bagaimana untuk keyword yang lebih dari satu, kok datanya setidik sekali ya. Caranya udah benar belom ya? Terima kasih search_keyword = '(keyword1 OR keyword2 OR keyword3) lang:en'

[@michaelherlambang6255]

kak mau tanya... di sini ada catch error gk ditemukan "retry" buat search ulang apakah ada update hehe.. tp makasih kak... kebetulan mau nambah data buat skripsi :" kmrn coba coba pake chrome driver sendiri(make selenium) tp masih gagal

[@candra.g0574]

makasih mass bantu banget

[@rizalagus2942]

bang mau tanya kalau bedanya pake api yg di tweet dev sama auth token itu apa?🙏

[@helmisatria]

tweet dev cuma buat development aja kak

[@diahrahmawati8542]

Kaaa tolong acc google collabnya yaa

[@PcNosrati]

its working . Thank you so much

[@asrisamsu7631]

Halo Mas, untuk pencarian spesifik ke kota tertentu settingnya seperti apa yah?

[@helmisatria]

Bisa cek video sebelumnya ya

[@asrisamsu7631]

Terimakasih segera meluncur kesana....

[@fst_wildannugraha8455]

mas izin minta akses google kolabnya untuk keperluan tugas kuliah🙏

[@vaniaeka4502]

bang izin tanya, kok dari folder tweets-data file csv nya error ya? keterangan nya gini : Error Tidak dapat mengambil objek.csv dari backend

[@dozee6058]

Di download aja kak file csv nya, nntik klau dibuka filenya lgsg ke Excel tu kak

[@alassafpratamaramadhan9782]

bg mau nanya kalau di cmd nya hasil crawling nya tuh " No additional tweet, scrolling more..." kira kira dimana error nya bg ?

[@helmisatria]

Barusan upload nih updatenya, boleh cek disini ya kzbin.info/www/bejne/eKnVqnWLqbqke80

[@dimasalifta1966]

bang minta izin akses google colabnya😅

[@helmisatria]

harusnya udah yaa 👍

[@zulwellymurti1008]

Mohon izin request access ya bang, untuk kebutuhan riset 🙏

[@helmisatria]

Silahkan 🙏

[@mochamadalfanrosid5583]

kak kalau buat dapetin link medianya juga gmn?soalnya aku mau reset pakai dataset multimodal (tweet + image). makasih kak sebelumnya

[@helmisatria]

Per sekarang udah bisa ya!

[@silvanulhakim8193]

New minor version of npm available! 10.2.4 -> 10.4.0 , mau nanya bang ini kenapa yaa

[@helmisatria]

itu info aja, bisa diabaikan