Segera dibutuhkan 2 orang - Insinyur Web Crawling

Gaji: 30K-55K (tidak termasuk bonus proyek, bagi yang memiliki kemampuan luar biasa dapat dinegosiasikan)

Jam kerja: 10 hari kerja, 4 hari libur (12:00-24:00 dengan 2 jam istirahat, waktu makan)

Masa percobaan: 1 bulan

Proyek perusahaan: Pengalaman pengembangan IM

Lokasi kerja: Awalnya jarak jauh, kemudian di lokasi (Thailand/Bangkok, kerja dari rumah)

1. Bertanggung jawab atas pengembangan dan pemeliharaan pengambilan data web untuk arah bisnis yang penting

2. Mendesain dan mengoptimalkan program crawling yang stabil dan efisien, menangani strategi anti-crawling (seperti CAPTCHA, obfuscation JS, pemblokiran IP, dll.)

3. Membangun dan memelihara sistem crawling terdistribusi untuk melakukan pengambilan data berskala besar secara bersamaan

4. Membersihkan, menghapus duplikasi, dan memproses data yang dikumpulkan secara terstruktur untuk memastikan kualitas data

5. Memantau status operasi sistem, menangani anomali secara tepat waktu, dan meningkatkan efisiensi serta stabilitas pengambilan data

6. Membantu tim data dalam menyelesaikan integrasi data dan pekerjaan ekstraksi label

1. Gelar sarjana atau lebih tinggi di bidang komputer, rekayasa perangkat lunak, atau disiplin terkait, dengan pengalaman pengembangan crawler selama 2-3 tahun atau lebih

2. Mahir dalam Python, familiar dengan kerangka kerja crawler utama seperti Scrapy, Requests, Selenium, Playwright, dll.

3. Menguasai teknik parsing halaman seperti HTML / XPath / CSS Selector / ekspresi reguler

4. Memahami mekanisme anti-crawler umum dan strategi penanganannya, seperti kolam proxy, kolam UA, pengenalan CAPTCHA, dekripsi JS, pemuatan halaman dinamis, dll.

5. Memiliki pengalaman dalam penggunaan penyimpanan data seperti Redis, MongoDB, MySQL

6. Familiar dengan pemrograman multithreading/asynchronous, serta memiliki struktur kode dan kebiasaan pengembangan yang baik

7. Memiliki kemampuan dasar dalam operasi Linux, mampu mengdeploy dan memelihara skrip pengambilan data secara mandiri

8. Memiliki rasa tanggung jawab, logika yang jelas, mampu bekerja di bawah tekanan, dan memiliki semangat kerja sama tim yang baik

️️Kriteria yang diutamakan:

1. Memiliki pengalaman proyek crawler terdistribusi menggunakan Scrapy-Redis

2. Familiar dengan kerangka tugas asynchronous seperti Kafka/Celery

3. Diutamakan bagi yang memiliki pengalaman menangani CAPTCHA gambar atau CAPTCHA geser

4. Familiar dengan strategi anti-penipuan umum dan solusi penanganannya

5. Memiliki pengalaman dalam proyek crawler untuk situs dewasa