n8n

n8n có thể tự động phân tích dữ liệu không? Tích hợp Python và visualization đơn giản

Eduto Academy

Eduto Academy

— 9 min read
n8n có thể tự động phân tích dữ liệu không? Tích hợp Python và visualization đơn giản

n8n: "Phù Thủy" Tự Động Hóa Phân Tích Dữ Liệu? Tích Hợp Python và Visualization Đơn Giản

Trong thế giới số hóa ngày nay, dữ liệu chính là "vàng". Tuy nhiên, khai thác giá trị từ mỏ vàng dữ liệu này đòi hỏi những công cụ mạnh mẽ và linh hoạt. n8n, một nền tảng tự động hóa workflow mã nguồn mở, đang nổi lên như một giải pháp tiềm năng. Bài viết này sẽ khám phá khả năng tự động phân tích dữ liệu của n8n, cách tích hợp Python và tạo visualization đơn giản để biến n8n thành một "phù thủy" thực sự trong lĩnh vực này.

n8n là gì và tại sao nó lại quan trọng?

n8n (pronounced "n-eightn") là một nền tảng tự động hóa workflow mã nguồn mở, được thiết kế để kết nối các ứng dụng và dịch vụ khác nhau. Nó cho phép bạn tạo ra các quy trình làm việc (workflows) tự động, thực hiện các tác vụ phức tạp mà không cần viết code phức tạp. Thay vì phải tự mình xử lý dữ liệu giữa các ứng dụng, bạn có thể "dạy" n8n làm điều đó cho bạn.

Tại sao n8n lại quan trọng?

n8n có thể tự động phân tích dữ liệu không?

Câu trả lời là CÓ, nhưng với một vài điều kiện. Bản thân n8n không phải là một công cụ phân tích dữ liệu chuyên dụng như Pandas (Python) hay Tableau. Thay vào đó, n8n hoạt động như một "nhạc trưởng" điều phối các công cụ và dịch vụ khác để thực hiện phân tích dữ liệu.

Đây là cách n8n có thể tự động phân tích dữ liệu:

  1. Thu thập dữ liệu: n8n có thể tự động thu thập dữ liệu từ nhiều nguồn khác nhau, bao gồm:
    • APIs: Lấy dữ liệu từ các APIs của các ứng dụng như Facebook, Twitter, Google Analytics, CRM, etc.
    • Databases: Kết nối và truy vấn dữ liệu từ các cơ sở dữ liệu như MySQL, PostgreSQL, MongoDB, etc.
    • Files: Đọc dữ liệu từ các tập tin như CSV, Excel, JSON, etc.
    • Webhooks: Nhận dữ liệu khi có sự kiện xảy ra (ví dụ: khi có đơn hàng mới trên website).
  2. Xử lý và biến đổi dữ liệu: Sau khi thu thập dữ liệu, n8n có thể thực hiện các thao tác xử lý và biến đổi cơ bản như:
    • Lọc dữ liệu: Chọn chỉ những dữ liệu đáp ứng một điều kiện nhất định.
    • Sắp xếp dữ liệu: Sắp xếp dữ liệu theo thứ tự tăng dần hoặc giảm dần.
    • Chuyển đổi dữ liệu: Thay đổi định dạng dữ liệu (ví dụ: từ string sang number).
    • Tính toán: Thực hiện các phép tính toán đơn giản trên dữ liệu.
    • Ghép dữ liệu: Kết hợp dữ liệu từ nhiều nguồn khác nhau.
  3. Phân tích dữ liệu bằng Python: Đây là một phần quan trọng. n8n cho phép bạn tích hợp với Python để thực hiện các phân tích dữ liệu phức tạp hơn. (Chúng ta sẽ đi sâu vào phần này ở phần sau).
  4. Visualization dữ liệu: n8n có thể tạo ra các visualization đơn giản để trực quan hóa dữ liệu (ví dụ: biểu đồ, đồ thị). Tuy nhiên, nếu bạn cần các visualization phức tạp hơn, bạn có thể tích hợp n8n với các công cụ visualization chuyên dụng.
  5. Gửi kết quả: Sau khi phân tích và visualization dữ liệu, n8n có thể tự động gửi kết quả đến các ứng dụng và dịch vụ khác (ví dụ: gửi email báo cáo, cập nhật dashboard, lưu trữ dữ liệu vào database).

Tích hợp Python vào n8n để phân tích dữ liệu chuyên sâu

Khả năng tích hợp Python là một trong những điểm mạnh nhất của n8n trong việc phân tích dữ liệu. Python là một ngôn ngữ lập trình mạnh mẽ với rất nhiều thư viện chuyên dụng cho phân tích dữ liệu như Pandas, NumPy, Scikit-learn và Matplotlib.

Cách tích hợp Python vào n8n:

n8n cung cấp một node "Function" cho phép bạn viết code Javascript. Tuy nhiên, để sử dụng Python, bạn cần sử dụng node "Execute Command" hoặc "Execute Shell Command". Node này cho phép bạn chạy các lệnh shell, bao gồm cả việc chạy các script Python.

Ví dụ: Sử dụng Pandas trong n8n để phân tích dữ liệu CSV

Giả sử bạn có một file CSV chứa dữ liệu về doanh số bán hàng. Bạn muốn sử dụng Pandas để tính tổng doanh số bán hàng và trung bình doanh số bán hàng.

Bước 1: Cài đặt Python và Pandas

Đảm bảo rằng bạn đã cài đặt Python và Pandas trên máy chủ mà n8n đang chạy. Bạn có thể cài đặt Pandas bằng pip:

pip install pandas

Bước 2: Tạo workflow n8n

  1. Start node: Bắt đầu workflow của bạn.
  2. Read CSV node: Sử dụng node "Read CSV" để đọc dữ liệu từ file CSV của bạn.
    • /path/to/your/script.py là đường dẫn đến script Python của bạn.
    • "{{ $node["Read CSV"].json }}" chuyển đổi dữ liệu CSV từ node "Read CSV" sang JSON và truyền nó làm đối số cho script Python.
  3. Function node (Optional): Nếu script Python của bạn trả về dữ liệu dưới dạng string, bạn có thể sử dụng node "Function" để chuyển đổi string đó thành JSON để sử dụng trong các node tiếp theo.
  4. Set node (Optional): Sử dụng node "Set" để gán các giá trị trả về từ script Python cho các biến mà bạn có thể sử dụng trong các node tiếp theo.
  5. Send Email node (Optional): Sử dụng node "Send Email" để gửi email báo cáo kết quả phân tích.
  6. Execute Command node: Thêm node "Execute Command". Trong phần "Command", nhập lệnh để chạy script Python của bạn. Ví dụ:
  7. Bước 3: Viết script Python
  8. Tạo một file Python (ví dụ: analyze_sales.py) với nội dung như sau:
  9. Lưu ý quan trọng:
    • Đảm bảo script Python có quyền thực thi.
    • Kiểm tra kỹ đường dẫn đến script Python trong node "Execute Command".
    • Xử lý lỗi trong script Python để tránh workflow bị dừng đột ngột.
    • Đảm bảo rằng phiên bản Python được sử dụng trong n8n (thông qua node "Execute Command") là phiên bản mà bạn đã cài đặt Pandas.
  10. Visualization dữ liệu đơn giản trong n8n
  11. n8n cung cấp các node để tạo ra visualization đơn giản như bảng và biểu đồ.
    • Table node: Hiển thị dữ liệu dưới dạng bảng.
    • Chart node: Tạo các loại biểu đồ như biểu đồ cột, biểu đồ đường, biểu đồ tròn.
  12. Tuy nhiên, các visualization này khá cơ bản. Nếu bạn cần các visualization phức tạp hơn, bạn có thể:
    1. Sử dụng Python (Matplotlib, Seaborn): Tạo visualization bằng các thư viện Python như Matplotlib hoặc Seaborn và lưu kết quả dưới dạng hình ảnh. Sau đó, bạn có thể gửi hình ảnh này qua email hoặc hiển thị nó trên một dashboard.
    2. Tích hợp với các công cụ visualization chuyên dụng: n8n có thể tích hợp với các công cụ visualization chuyên dụng như Tableau, Power BI, hoặc Google Data Studio. Bạn có thể gửi dữ liệu từ n8n đến các công cụ này và tạo ra các visualization phức tạp hơn.
  13. Ví dụ: Sử dụng Chart node trong n8n để tạo biểu đồ cột
  14. Giả sử bạn đã thu thập dữ liệu về số lượng khách hàng mới đăng ký mỗi tháng. Bạn muốn tạo một biểu đồ cột để trực quan hóa dữ liệu này.
    1. Start node: Bắt đầu workflow của bạn.
    2. Chart node: Thêm node "Chart".
      • Chart Type: Chọn "Bar Chart" (Biểu đồ cột).
      • Data Key: Chọn "SoLuong".
      • Label Key: Chọn "Thang".
  15. Manually Input Data node: Sử dụng node "Manually Input Data" để nhập dữ liệu của bạn. Ví dụ:
  16. Kết luận: n8n có phải là "Phù Thủy" phân tích dữ liệu?
  17. n8n không phải là một công cụ phân tích dữ liệu "tất cả trong một". Tuy nhiên, với khả năng kết nối linh hoạt, tích hợp Python và visualization đơn giản, n8n có thể trở thành một "phù thủy" thực thụ trong việc tự động hóa các quy trình phân tích dữ liệu và khai thác giá trị từ dữ liệu của bạn.
  18. Ưu điểm của việc sử dụng n8n cho phân tích dữ liệu:
    • Tự động hóa các tác vụ lặp đi lặp lại, giúp tiết kiệm thời gian và công sức.
    • Linh hoạt: Kết nối với nhiều nguồn dữ liệu và công cụ phân tích khác nhau.
    • Mã nguồn mở: Miễn phí để sử dụng và tùy chỉnh.
    • Tích hợp Python: Cho phép thực hiện các phân tích dữ liệu phức tạp.
    • Visualization: Tạo ra các visualization đơn giản để trực quan hóa dữ liệu.
  19. Nhược điểm:
    • Không phải là công cụ phân tích chuyên dụng: Cần tích hợp với các công cụ khác để thực hiện các phân tích dữ liệu chuyên sâu.
    • Độ phức tạp: Việc xây dựng các workflow phức tạp có thể đòi hỏi kiến thức về lập trình và các công cụ phân tích dữ liệu.
    • Giới hạn Visualization: Khả năng visualization còn hạn chế so với các công cụ chuyên dụng.
  20. Lời khuyên:
    • Hãy bắt đầu với các workflow đơn giản và dần dần tăng độ phức tạp.
    • Sử dụng Python để thực hiện các phân tích dữ liệu phức tạp.
    • Tận dụng các thư viện Python như Pandas, NumPy, Scikit-learn và Matplotlib.
    • Tích hợp với các công cụ visualization chuyên dụng nếu bạn cần các visualization phức tạp hơn.
    • Tham gia cộng đồng n8n để học hỏi kinh nghiệm và chia sẻ kiến thức.
  21. Với sự kiên trì và sáng tạo, bạn có thể biến n8n thành một công cụ mạnh mẽ để tự động hóa các quy trình phân tích dữ liệu và khai thác giá trị từ dữ liệu của bạn. Chúc bạn thành công!
[
  {"Thang": "Tháng 1", "SoLuong": 100},
  {"Thang": "Tháng 2", "SoLuong": 120},
  {"Thang": "Tháng 3", "SoLuong": 150},
  {"Thang": "Tháng 4", "SoLuong": 130},
  {"Thang": "Tháng 5", "SoLuong": 160}
]
```
import pandas as pd
import json
import sys

def analyze_sales_data(data_json):
  """
  Phân tích dữ liệu doanh số bán hàng từ JSON.

  Args:
    data_json: Dữ liệu doanh số bán hàng dưới dạng JSON.

  Returns:
    Một dictionary chứa tổng doanh số và trung bình doanh số.
  """
  try:
    data = json.loads(data_json)
    df = pd.DataFrame(data)

    # Đảm bảo cột 'DoanhSo' là kiểu số
    df['DoanhSo'] = pd.to_numeric(df['DoanhSo'], errors='coerce')

    tong_doanh_so = df['DoanhSo'].sum()
    trung_binh_doanh_so = df['DoanhSo'].mean()

    ket_qua = {
        "tong_doanh_so": tong_doanh_so,
        "trung_binh_doanh_so": trung_binh_doanh_so
    }

    return json.dumps(ket_qua) # trả về dưới dạng JSON
  except Exception as e:
    return json.dumps({"error": str(e)})

if __name__ == "__main__":
    if len(sys.argv) > 1:
        data_json = sys.argv[1]
        ket_qua = analyze_sales_data(data_json)
        print(ket_qua)
    else:
        print(json.dumps({"error": "Không có dữ liệu đầu vào."}))
```
python /path/to/your/script.py "{{ $node["Read CSV"].json }}"
```

Read more