Rust for Machine Learning - Tạo sinh văn bản - Phần 03

Trong hai phần trước của chuỗi video “Tạo sinh văn bản”, chúng ta đã cùng tìm hiểu và thực hành triển khai các hàm tự động tải về mô hình LLM và các tệp thông tin cấu hình liên quan. Chúng ta cũng đã cùng nhau tìm hiểu về HF’s tokenizers trong một video riêng biệt, công đoạn token-hóa prompt hay encoding là một công đoạn quan trọng khi làm việc với các LLM.

Để tiếp tục “Tạo sinh văn bản”, chúng ta sẽ cần thực hiện các bước khởi tạo các đối tượng như khởi tạo đối tượng tokenizer:

let tokenizer = Tokenizer::from_file(&tok_file)
  .map_err(|e| format!("{e}"))?;

Khởi tạo đối tượng chứa trọng số của mô hình và kiến trúc của mô hình:

let vb = unsafe {
  VarBuilder::from_mmaped_safetensors(&sft_files, DType::F16, &device)?
};
let model_config: Qwen2Config = serde_json::from_slice(
  &std::fs::read(cfg_file)?
)?;

Hãy cùng RustDev Vietnam tiếp tục triển khai ứng dụng tạo sinh văn bản qua video “#0054 - Rust for Machine Learning - Tạo sinh văn bản - Phần 03” trên kênh Youtube RustDev Vietnam.

Và đừng quên nhấn đăng ký kênh để không bị bỏ lỡ các video của chúng tôi.