Thông báo:
Vui lòng đăng nhập để sử dụng tính năng này!

Trang chủ > Tin tuyển dụng > Data Crawler Staff

CÔNG TY CỔ PHẦN WEBIFY GROUP

Địa chỉ: ***, Phu Nhuan District
Điện thoại: 03896***
Email: ***y.com.vn

Data Crawler Staff

Đăng lúc: 12/02/2025 09:56:46, bởi CÔNG TY CỔ PHẦN WEBIFY GROUP
Ngành: Công nghệ thông tin
Trình độ: Đại học
Hình thức: Toàn thời gian
Vị trí: Nhân viên
Giới tính: Nữ
Mức lương: Đăng nhập để xem
Lượt xem: 82
Số lượng tuyển: 1
Hạn nộp: 12/03/2025

1

PROFESSIONAL REQUIREMENTS

Education

  • Bachelor's degree (GPA > 3.0)

  • Major:

  • Data science

  • Computer engineering

  • Data related fields

  • English: TOEIC > 700 of  IELTS >5.5

Technical Skills

Python Ecosystem

  • Asyncio, Multiprocessing

  •  Data cleaning techniques

  • Machine Learning preprocessing

  • Advanced error handling

Database & Big Data

  • SQL (Intermediate to Advanced)

  • NoSQL database management

  • PySpark

  • Data warehousing

In-depth Experience

  • Minimum 1-2 years

  • Project implementation:

  • Web scraping

  • Automatic data processing

  • Big data crawling

SOFT SKILLS

System analysis

Problem solving

Independent & team working

Time management

Logical thinking

NICE TO HAVE EXPERIENCES

Big Data experience

Data pipeline design

Working with diverse APIs

Professional certifications

Creativity and initiative in proposing ideas


-Enjoy full social insurance, health insurance, labor contracts, vacation days and other benefits according to state regulations.


-Parking allowance


-Regular annual salary increase


-Training and capacity development to meet job requirements and promotion path


-Participate in courses when necessary


-Weekly/monthly/quarterly/yearly bonuses and project bonuses


-Holiday/Tet bonuses


-Young, friendly and dynamic working environment.


-Travel: 1 time/year


1. Professional Scraping System Development

Technical Requirements:

        System Architecture:

  • Design cross-platform Python crawling scripts

  • Build scalable systems

  • Develop parallel crawling solutions

  • Manage large, multi-threaded data streams

Technologies:

  • Scrapy, BeautifulSoup

  • Selenium

  • Asyncio, Multiprocessing

  • Proxy management

  • IP rotation techniques

2. Data Processing and Normalization

Processing Methods:

  • Develop API data cleaning processes

  • Data transformation algorithms

  • Integrity checks

  • Remove noisy data

Tools:

  • Pandas

  • Data validation techniques

  • Machine Learning preprocessing

3. Database Management

Specialized Skills:

    Advanced SQL:

  • Complex queries

  • Performance optimization

4. Monitoring & Optimization

Strategy:

  • Manage scraping system operations.

  • Track scraping performance

  • Challenge handling:

  • IP blocking

  • Speed ​​limiting

  • CAPTCHA

    • Working hours: HC 07 hours/day (Morning from 08:00 - 11:30, Afternoon from 13:00 - 16:30), from Monday to Friday, off on Saturday & Sunday. 

    • Working equipment: provided


Công ty Cổ phần Webify Group, thành lập vào tháng 6/2022, là một thành viên quan trọng của hệ sinh thái của Webify Global Pte. Ltd. có trụ sở Singapore. Chúng tôi hoạt động chuyên sâu trong lĩnh vực phát triển Website và Ứng dụng Di động, đem đến cho khách hàng những giải pháp công nghệ hiệu quả và đổi mới.


Việc làm tương tự

Một số tin tuyển dụng khác, có thể bạn quan tâm