Perbandingan Metode Web Scraping Menggunakan CSS Selector dan Xpath Selector
DOI:
https://doi.org/10.34148/teknika.v6i1.56Keywords:
web crawling, web scraping, scrapy, xpath, css selectorAbstract
Pemanfaatan data atau berita yang tersebar di internet untuk meningkatkan peluang keberhasilan dalam sebuah usaha melalui analisa trend pasar adalah hal yang sangat umum pada saat ini. Penjelajahan Web (Crawl) dan ekstraksi data dari web (Scraping) menjadi salah satu hal yang penting, agar tidak terjadi data yang kurang sempurna, dan data yang diterima adalah data yang paling baru. CSS Selector dan Xpath merupakan salah satu metode yang umum digunakan dalam melakukan proses crawling. Terdapat perbedaan dari jumlah data yang terambil, besar file output dan waktu pemrosesan dari kedua metode tersebut, dimana Xpath memiliki keunggulan pada jumlah data yang terambil dan waktu pemrosesnya yang berakibat pada ukuran file output yang lebih besar. Sedangkan untuk penggunaan memori pada kedua metode pada proses crawling tidak memiliki perbedaan yang signifikan.
Downloads
References
[2] Kouzis-Loukas, D. (2016). Learning Scrapy. Birmingham-Mumbai: Packt Publishing.
[3] Hatzi, V. (2014). Web Page Download Scheduling Policies for Green Web Crawling. 22nd International Conference on Software, Telecommunications and Computer Networks (SoftCOM).
[4] Wang, J. dan Guo, Y. (2012). Scrapy-based Crawling and User-behavior Characteristics Analysis on Taobao. 2012 International Conference on Cyber-Enabled Distributed Computing and Knowledge Discover.
[5] Wijaya, A.P. dan Santoso, H.A. (2016). Naive Bayes Classification pada Klasifikasi Dokumen Untuk Identifikasi Konten E-Government. Journal of Applied Intelligent System, pp. 48-55.