Phần lớn ứng dụng ghi chú AI đẩy ghi chú của bạn lên một vector database trên cloud và một mô hình được host, rồi mong bạn tin vào chính sách bảo mật. Với công việc của chúng tôi (các ngành chịu quản lý, dữ liệu nhạy cảm), đó là điều không thể chấp nhận. Nên chúng tôi làm ngược lại và mã nguồn mở nó: Nebula, một cơ sở tri thức AI riêng tư, local-first, chạy trọn vẹn bên trong một tab trình duyệt. Không backend, không tài khoản, không server. Khẩu hiệu của nó nói thẳng: ghi chú biết suy nghĩ, không gì rời khỏi thiết bị của bạn.
Repo: github.com/beevr-labs/Nebula (Apache-2.0). Demo, không cần đăng ký: beevr-labs.github.io/Nebula. Đây là lý do chúng tôi chọn chạy hoàn toàn on-device, và cái giá phải trả.
Lời quảng cáo bảo mật thường thấy là một chính sách: "chúng tôi sẽ không xem dữ liệu của bạn." Lời của Nebula là cấu trúc: dữ liệu của bạn không có chỗ nào để đi. Mọi thứ chạy trong trình duyệt. Ghi chú, embedding và chỉ mục tìm kiếm nằm trong bộ nhớ cục bộ của trình duyệt. Không có dịch vụ đồng bộ, không có hệ thống tài khoản, và do đó không có server nào để bị xâm phạm hay phải đưa vào một thỏa thuận xử lý dữ liệu. Với những ghi chú nhạy cảm (hồ sơ khách hàng, thông tin sức khỏe, bất cứ thứ gì bạn sẽ không dán vào một chatbot cloud), đó chính là toàn bộ vấn đề.
Đây là một single-page app dựng bằng SvelteKit nhưng làm ML thật ngay trong trình duyệt:
Tìm kiếm vector phẳng tìm ra những ghi chú tương tự. Nó không hiểu rằng "khách hàng từ cuộc gọi hôm thứ Ba" và "Acme Corp" là cùng một thực thể trải khắp mười ghi chú khác nhau. Nebula tự động dựng một đồ thị tri thức thực thể (con người, dự án, khách hàng) và dùng GraphRAG để trả lời câu hỏi bằng cách đi theo các mối quan hệ đó, rồi liên kết mỗi câu trả lời về đúng ghi chú nguồn. Bạn hỏi bằng ngôn ngữ tự nhiên và nhận một câu trả lời có thể truy vết, thay vì một cuộc lục tìm từ khóa giữa các file rời rạc.
AI sẽ vô dụng nếu app ghi chú bên dưới không ra gì, nên nó ra gì thật: Markdown, wikilink và backlink, tab, quick switcher, daily note, template, tag và thư mục. Bạn mang theo file của mình (PDF, CSV, text) và xuất toàn bộ kho ghi chú thành các file .md thuần bất cứ lúc nào. Không khóa chân: ghi chú vào và ra đều là Markdown chuyển được. Mã nguồn đi kèm hơn 430 bài kiểm thử tự động, vì local-first không có nghĩa là mong manh.
Cùng lý do chúng tôi mở mã phần khó nhất còn lại của mình: trong AI, "kiểm chứng được" thắng "cứ tin tôi đi". Một người mua đang đánh giá chúng tôi cho dữ liệu nhạy cảm có thể đọc đúng cách truy xuất hoạt động, và tự xác nhận rằng không gì rời khỏi thiết bị, thay vì tin vào lời chúng tôi.
Nebula dùng giấy phép Apache-2.0 tại github.com/beevr-labs/Nebula, với demo trực tiếp ở beevr-labs.github.io/Nebula. Nếu bạn cần AI xây trên dữ liệu nhạy cảm hay chịu quản lý, on-device hay không, làm ra để sống sót qua một cuộc kiểm toán chứ không chỉ qua một bản demo, đây là cách chúng tôi làm việc.
Có ai khác đang chạy RAG hoàn toàn trong trình duyệt không? Bộ đôi mô hình cộng phần cứng nào đang thực sự hiệu quả với bạn?