Đây là một dự án mình muốn làm để tổng hợp lại những kiến thức đã làm trong suốt một thời gian với RAG, và đẩy nó lên một mức cao hơn - thêm Operation để nó có thể deploy và sử dụng trong những dự án mới.
Update ngày 01/01/2025
Mình khởi đầu dự án này khá đơn giản với những thành phần như:
-
MLFlow: Quản lý các thử nghiệm, mình sẽ muốn lưu thông tin các thử nghiệm cho data processing, hay là cả RAG khi validation.
-
Minio: Object Storage.
-
Milvus: Vector Store. Đây là một vector store mình đang tìm hiểu và sẽ dùng nó cho retrieval trong RAG.
-
LangChain: Data and RAG Orchestration.
-
LlamaParse: Document Parser. Mình cũng muốn thử nghiệm khá nhiều service xử lý data khác nhau, nhưng hiện tại đầu tiên là với LlamaParse.
-
FastAPI.
Với version đầu tiên, mục tiêu của mình là tạo ra một hệ thống RAG-Ops ở local: thay đổi document ở local, tự động process data và lưu trong vector store và RAG system.
Update ngày 04/01/2025
Mình dự định sẽ refactor lại phần Pipeline viết cho mỗi folder watcher bằng cách mở rộng nó ra với data ingestion từ API (có thể mở rộng được codebase). Có thể tích hợp Airflow để quản lý DAGs cho các step xử lý dữ liệu.
Ngoài ra mình sẽ tích hợp bộ đôi Grafana và Prometheus để làm monitoring cho hệ thống.
Leave a comment