Xử Lý Dữ Liệu Trống và Lỗi Trong Excel Sử Dụng Python

By

📝 Dọn dẹp bảng tính Excel chỉ trong vài dòng code Python!

Là một nhân viên văn phòng, bạn chắc chắn đã từng “đau đầu” với những bảng tính Excel lộn xộn, chứa đầy các ô trống, giá trị sai lệch hoặc các lỗi khó hiểu như #N/A, #VALUE!. Việc xử lý thủ công từng ô không chỉ tốn thời gian mà còn dễ gây ra sai sót, ảnh hưởng đến độ chính xác của báo cáo.

Trong bài viết này, chúng ta sẽ khám phá sức mạnh của Python, cụ thể là thư viện Pandas, để tự động hóa công việc “dọn dẹp” dữ liệu này. Bạn sẽ học cách xác định, xử lý các giá trị trống (Missing Values) và các lỗi một cách nhanh chóng và hiệu quả, giúp bảng tính của bạn trở nên sạch sẽ và sẵn sàng cho việc phân tích.

1. Tại Sao Phải Xử Lý Dữ Liệu Trống và Lỗi?

Dữ liệu trống hoặc lỗi là “kẻ thù” của mọi phân tích. Nếu không được xử lý, chúng có thể:

  • Gây sai lệch kết quả: Các phép tính tổng, trung bình, hay các biểu đồ sẽ cho ra kết quả không chính xác.
  • Ngăn cản phân tích: Nhiều công cụ hoặc thuật toán phân tích yêu cầu dữ liệu phải đầy đủ và sạch sẽ.
  • Tạo ấn tượng thiếu chuyên nghiệp: Một báo cáo chứa nhiều lỗi và dữ liệu trống sẽ giảm độ tin cậy.

Chính vì vậy, xử lý dữ liệu (Data Cleaning) là bước đầu tiên và quan trọng nhất trong mọi quy trình làm việc với dữ liệu.

2. Chuẩn Bị Dữ Liệu Thực Hành

Để thực hành, bạn hãy tạo một tệp Excel đơn giản có tên sales_data_dirty.xlsx với nội dung sau. Bảng dữ liệu này có chứa các giá trị trống (<Trống>) và lỗi (<Lỗi>) mà chúng ta sẽ xử lý.

Mã SPSản phẩmDoanh sốChi phíLợi nhuận
A01Laptop1200800400
A02Phone<Trống>500300
A03Headphone15080<Trống>
A04Tablet450<Lỗi><Lỗi>
A05Monitor300200100

3. Hướng Dẫn Xử Lý Dữ Liệu Trống (Missing Values)

Sử dụng thư viện Pandas, việc xử lý dữ liệu trống trở nên dễ dàng hơn bao giờ hết.

Bước 1: Cài đặt và nhập thư viện

  • Đảm bảo bạn đã cài đặt Pandas bằng lệnh pip install pandas.
  • Sau đó, nhập thư viện và đọc file Excel:

Python

import pandas as pd

# Đọc file Excel
df = pd.read_excel(‘sales_data_dirty.xlsx’)
print(“Dữ liệu gốc:”)
print(df)

Bước 2: Phát hiện giá trị trống

  • Bạn có thể sử dụng hàm isnull() hoặc isna() để kiểm tra các giá trị trống.

Python

# Kiểm tra tổng số giá trị trống trong mỗi cột
print(“\nTổng số giá trị trống trong mỗi cột:”)
print(df.isnull().sum())

Bước 3: Lựa chọn phương pháp xử lý

  • Xóa dòng/cột chứa giá trị trống:
  • Nếu số lượng dữ liệu trống nhỏ, bạn có thể xóa các dòng chứa chúng.

Python
# Xóa tất cả các dòng có ít nhất một giá trị trống
df_dropped = df.dropna()
print(“\nSau khi xóa các dòng chứa giá trị trống:”)
print(df_dropped)

  • Thay thế giá trị trống:
  • Đây là cách phổ biến hơn. Bạn có thể thay thế bằng 0, giá trị trung bình, hoặc một giá trị mặc định.

Python
# Thay thế giá trị trống trong cột ‘Doanh số’ và ‘Chi phí’ bằng 0
df[‘Doanh số’].fillna(0, inplace=True)
df[‘Chi phí’].fillna(0, inplace=True)

# Thay thế giá trị trống trong cột ‘Lợi nhuận’ bằng giá trị trung bình của cột đó
avg_profit = df[‘Lợi nhuận’].mean()
df[‘Lợi nhuận’].fillna(avg_profit, inplace=True)

print(“\nSau khi thay thế giá trị trống:”)
print(df)

4. Hướng Dẫn Xử Lý Dữ Liệu Lỗi

Các giá trị lỗi trong Excel thường được đọc vào Pandas dưới dạng NaN hoặc các giá trị đặc biệt khác. Bạn có thể sử dụng các hàm của Pandas để xử lý chúng.

  • Bước 1: Xác định giá trị lỗi:
  • Trong bảng dữ liệu trên, các ô lỗi (<Lỗi>) đã được Pandas tự động chuyển thành NaN. Bạn có thể kiểm tra bằng lệnh df.info().
  • Bước 2: Xử lý tương tự như giá trị trống:
  • Sau khi đã xác định được các giá trị lỗi, bạn có thể áp dụng các phương pháp tương tự như xử lý dữ liệu trống ở trên (xóa dòng hoặc thay thế bằng giá trị phù hợp).
  • Mẹo: Nếu các lỗi không phải là NaN, bạn có thể sử dụng hàm replace() để chuyển chúng thành NaN trước khi xử lý.

Python
# Ví dụ: Giả sử lỗi là chuỗi '#VALUE!', bạn có thể thay thế
df.replace('#VALUE!', pd.NA, inplace=True)

Kết Luận: Nâng Cao Hiệu Suất và Độ Chính Xác

Chỉ với một vài dòng code đơn giản, bạn đã hoàn toàn tự động hóa công việc tốn nhiều thời gian và dễ sai sót. Việc thành thạo các kỹ năng làm sạch dữ liệu bằng Python không chỉ giúp bạn làm việc hiệu quả hơn mà còn mở ra cánh cửa đến với các công việc phân tích dữ liệu chuyên sâu.Nếu bạn muốn tiết kiệm thời gian hơn nữa và tự động hóa toàn bộ quy trình làm việc từ A đến Z, Python chính là công cụ bạn cần.

Đừng để những công việc lặp đi lặp lại chiếm hết thời gian của bạn! Bạn hãy bắt đầu hành trình nâng cao hiệu suất làm việc của bạn ngay hôm nay!

Scroll to Top