Web scraping adalah teknik untuk mengambil data dari sebuah website dengan menggunakan program komputer. Web scraping dapat digunakan untuk berbagai tujuan, seperti analisis data, penelitian pasar, atau pengembangan aplikasi. Salah satu contoh aplikasi web scraping adalah untuk mengambil data hits produk di marketplace, yaitu jumlah kunjungan atau penjualan suatu produk di platform e-commerce.
Dengan data hits produk, kita dapat mengetahui produk apa yang sedang populer, diminati, atau laris di pasar. Data ini dapat membantu kita untuk membuat keputusan bisnis, seperti menentukan harga, strategi pemasaran, atau produk baru yang akan ditawarkan. Selain itu, data ini juga dapat digunakan untuk membuat rekomendasi produk, analisis sentimen, atau prediksi permintaan.
Untuk melakukan web scraping data hits produk di marketplace, kita dapat menggunakan bahasa pemrograman Python dan beberapa library yang tersedia, seperti requests, BeautifulSoup, dan pandas. Library requests digunakan untuk mengirim permintaan HTTP ke website yang ingin kita scrap. Library BeautifulSoup digunakan untuk mengurai (parse) HTML yang diterima dari website dan mengekstrak data yang kita inginkan. Library pandas digunakan untuk menyimpan, memproses, dan menganalisis data dalam bentuk tabel atau dataframe.
Dalam artikel ini, kita akan mencoba melakukan web scraping data hits produk di marketplace Tokopedia, salah satu platform e-commerce terbesar di Indonesia. Tokopedia menyediakan data hits produk di halaman detail produk, yang dapat kita akses dengan menggunakan URL berikut:
https://www.tokopedia.com/{nama_toko}/{nama_produk}
Misalnya, jika kita ingin mengambil data hits produk “Samsung Galaxy S21 Ultra 5G 256GB Phantom Black”, kita dapat menggunakan URL berikut:
https://www.tokopedia.com/samsung/samsung-galaxy-s21-ultra-5g-256gb-phantom-black
Di halaman detail produk, kita dapat melihat data hits produk di bagian bawah, yang terdiri dari:
- Jumlah ulasan
- Jumlah diskusi
- Jumlah dilihat
- Jumlah terjual
- Jumlah favorit
Data hits produk di Tokopedia
Untuk mengambil data hits produk ini, kita dapat menggunakan langkah-langkah berikut:
- Mengimpor library yang dibutuhkan
- Mendefinisikan URL target
- Mengirim permintaan HTTP ke URL target dan mendapatkan respons HTML
- Mengurai respons HTML dengan BeautifulSoup dan mencari elemen yang mengandung data hits produk
- Menyimpan data hits produk dalam bentuk dictionary
- Mengubah dictionary menjadi dataframe pandas
- Menyimpan dataframe pandas dalam format CSV atau Excel
Berikut adalah kode Python yang mengimplementasikan langkah-langkah di atas:
# Mengimpor library yang dibutuhkan
import requests
from bs4 import BeautifulSoup
import pandas as pd
# Mendefinisikan URL target
url_target = "https://www.tokopedia.com/samsung/samsung-galaxy-s21-ultra-5g-256gb-phantom-black"
# Mengirim permintaan HTTP ke URL target dan mendapatkan respons HTML
response = requests.get(url_target)
html = response.text
# Mengurai respons HTML dengan BeautifulSoup dan mencari elemen yang mengandung data hits produk
soup = BeautifulSoup(html, "html.parser")
hits = soup.find("div", class_="css-1g20a2m")
# Menyimpan data hits produk dalam bentuk dictionary
data = {}
data["nama_produk"] = hits.find("h1", class_="css-1wtrxts").text
data["jumlah_ulasan"] = hits.find("span", class_="css-etd83i").text
data["jumlah_diskusi"] = hits.find("span", class_="css-1bjwylw").text
data["jumlah_dilihat"] = hits.find("span", class_="css-1bjwylw").find_next("span").text
data["jumlah_terjual"] = hits.find("span", class_="css-1bjwylw").find_next("span").find_next("span").text
data["jumlah_favorit"] = hits.find("span", class_="css-1bjwylw").find_next("span").find_next("span").find_next("span").text
# Mengubah dictionary menjadi dataframe pandas
df = pd.DataFrame([data])
# Menyimpan dataframe pandas dalam format CSV atau Excel
df.to_csv("data_hits_produk.csv", index=False)
# df.to_excel("data_hits_produk.xlsx", index=False)
Jika kita menjalankan kode di atas, kita akan mendapatkan file CSV atau Excel yang berisi data hits produk yang kita scrap. Berikut adalah contoh isi file CSV yang dihasilkan:
nama_produk,jumlah_ulasan,jumlah_diskusi,jumlah_dilihat,jumlah_terjual,jumlah_favorit Samsung Galaxy S21 Ultra 5G 256GB Phantom Black,1.1rb,1.2rb,1.1jt,1.1rb,1.1rb
Dengan cara yang sama, kita dapat mengambil data hits produk dari produk lain di Tokopedia dengan mengganti URL target sesuai dengan produk yang kita inginkan. Kita juga dapat mengambil data hits produk dari marketplace lain, seperti Shopee, Bukalapak, atau Lazada, dengan menyesuaikan URL target dan elemen HTML yang mengandung data hits produk.
Demikianlah artikel tentang “Phyton scrape data hits produk di marketplace”. Semoga artikel ini bermanfaat dan dapat membantu Anda untuk belajar web scraping dengan Python. Selamat mencoba!
