Perusahaan rintisan bernama Letta baru saja muncul dari dunia gelap dengan teknologi yang membantu model AI mengingat pengguna dan percakapan. Didirikan di pabrik laboratorium perusahaan rintisan terkenal di UC Berkeley, perusahaan tersebut juga mengumumkan pendanaan awal sebesar $10 juta yang dipimpin oleh Astasia Myers dari Felicis, dengan valuasi pasca-pendanaan sebesar $70 juta.
Letta juga didukung oleh sejumlah investor malaikat di bidang AI, seperti Jeff Dean dari Google, Clem Delangue dari Hugging Face, Cristóbal Valenzuela dari Runway, dan Robert Nishihara dari Anyscale, antara lain.
IKLAN
GULIR UNTUK MELANJUTKAN KONTEN
Didirikan oleh mahasiswa PhD Berkeley Sarah Wooders dan Charles Packer, ini adalah peluncuran startup AI yang sangat dinantikan. Itu karena perusahaan tersebut merupakan anak perusahaan dari Berkeley's Sky Computing Lab dan bagian komersial dari proyek open-source populer MemGPT.
Sky Computing Lab Berkeley, yang dipimpin oleh profesor ternama dan salah satu pendiri Databricks, Ion Stoica, merupakan turunan dari RISELab dan AMPLab, yang melahirkan perusahaan-perusahaan seperti Anyscale, Databricks, dan SiFive. Sky Lab, khususnya, melahirkan banyak proyek model bahasa besar (LLM) sumber terbuka yang populer seperti Gorilla LLM, vLLM, dan bahasa terstruktur LLM SGLang.
“Banyak proyek yang muncul dari laboratorium dengan sangat cepat, dalam waktu satu tahun. Hanya orang-orang yang duduk di sebelah kami,” kata Wooders. “Jadi itu adalah waktu yang luar biasa.”
MemGPT adalah salah satu proyek semacam itu dan merupakan komoditas yang sangat populer hingga menjadi viral bahkan sebelum diluncurkan.
“Seseorang mencuri informasi dari kami,” kata Packer kepada TechCrunch. Para pendiri telah mengunggah whitepaper pada hari Kamis, 12 Oktober 2023, dan berencana untuk merilis makalah yang lebih mendalam dan kode tersebut ke GitHub pada hari Senin berikutnya. Seseorang secara acak menemukan makalah tersebut, mengunggahnya ke Hacker News pada hari Minggu, dan “menjadi viral di Hacker News sebelum kami sempat merilis kode, merilis makalah, atau, seperti, mencuit atau semacamnya,” katanya.
Alasan kegembiraan ini adalah karena MemGPT meringankan masalah yang merugikan LLM: Dalam bentuk aslinya, model seperti ChatGPT tidak memiliki status, artinya model tersebut tidak menyimpan data historis dalam memori jangka panjang. Ini adalah masalah bagi aplikasi AI yang mengandalkan pengenalan dan pembelajaran dari pengguna dari waktu ke waktu — mulai dari bot dukungan pelanggan hingga aplikasi pelacakan gejala layanan kesehatan. MemGPT mengelola data dan memori sehingga agen AI dan chatbot dapat mengingat pengguna dan percakapan sebelumnya.
Postingan surat kabar itu bertahan di puncak Hacker News, situs populer bagi para programmer yang dikelola oleh Y Combinator, selama 48 jam, kenang Packer. Jadi, ia menghabiskan akhir pekan dan beberapa hari berikutnya untuk menjawab pertanyaan di situs tersebut sambil mencoba menyiapkan kode untuk dirilis. Begitu proyek tersebut ditayangkan di GitHub, tautan ke proyek itu kembali menjadi viral di Hacker News. Wawancara dan tutorial di YouTube, posting Medium, 11.000 bintang, dan 1.2.000 fork di GitHub menyusul dengan cepat.
Myers dari VC Felicis menemukan Wooders dan Packer dengan membaca tentang MemGPT, dan segera mengenali potensi komersial dari teknologi tersebut.
“Saya melihat makalah itu saat terbit,” katanya kepada TechCrunch, dan ia segera menghubungi para pendiri. “Kami memiliki tema investasi seputar infrastruktur agen AI dan menyadari bahwa komponen yang sangat penting dari hal itu adalah manajemen data dan memori untuk membuat chatbot percakapan dan agen AI ini efektif.”
Para pendiri masih berkeliling Sand Hill Road dalam panggilan Zoom dengan para VC sebelum menghubungi para VC yang mencintai mereka terlebih dahulu.
Sementara itu, Stoica menjadi perantara perkenalan dengan Dean, Nishihara, dan investor malaikat besar Silicon Valley lainnya. “Banyak profesor di Berkeley, karena mereka memang di Berkeley, memiliki koneksi yang sangat baik,” kenang Packer tentang betapa mudahnya proses investasi malaikat. “Mereka mencari proyek dari laboratorium-laboratorium ini yang akan dikomersialkan.”
Kompetisi dan ancaman OpenAI o1
Meskipun MemGPT sudah tersedia dan digunakan secara luas, varian komersial Letta, Letta Cloud, belum diluncurkan. Mulai hari Senin, Letta menerima permintaan untuk pengguna beta. Layanan ini akan menawarkan layanan agen terkelola yang memungkinkan pengembang untuk menyebarkan dan menjalankan agen berstatus di cloud, yang dapat diakses melalui REST API, antarmuka pemrograman yang dapat mengelola status. Letta Cloud akan menyimpan data jangka panjang yang diperlukan untuk melakukannya. Letta juga akan menawarkan alat pengembang untuk membangun agen AI.
Dengan MemGPT, Wooders melihat berbagai macam kegunaan. “Saya pikir kasus penggunaan nomor satu yang kami lihat pada dasarnya adalah chatbot yang sangat personal dan sangat menarik,” katanya. Namun, ada juga penggunaan mutakhir seperti “chatbot kanker” di mana pasien mengunggah riwayat mereka dan kemudian berbagi gejala yang sedang berlangsung sehingga bot dapat belajar dan menawarkan panduan dari waktu ke waktu.
Perlu dicatat bahwa MemGPT tidak sendirian dalam mengerjakan hal ini. LangChain mungkin adalah pesaingnya yang paling terkenal, dan sudah menawarkan opsi komersial. Pembuat model terbesar juga menawarkan alat pembuat agen AI, seperti OpenAI's Assistants API.
Dan model o1 OpenAI yang baru dapat membuat kebutuhan untuk memperbaiki status menjadi kurang penting bagi penggunanya. Karena ini adalah model multi-langkah, pada dasarnya ia harus mempertahankan beberapa tingkat status untuk “berpikir” dan memeriksa fakta sebelum merespons.
Namun Wooders, Packer, dan Myers melihat beberapa perbedaan utama antara apa yang ditawarkan Letta dan apa yang dilakukan OpenAI, raksasa pasar dengan berat 800 pound. Letta mengklaim akan bekerja dengan model AI apa pun dan mengharapkan penggunanya untuk menggunakan banyak di antaranya: OpenAI, Anthropic, Mistral, model mereka sendiri. Teknologi OpenAI saat ini hanya bekerja dengan dirinya sendiri.
Yang lebih penting, Letta menggunakan MemGPT sumber terbuka dan tampil dengan tegas di sisi sumber terbuka dalam perdebatan FOSS vs. LLM kotak hitam, dengan menyatakan bahwa sumber terbuka adalah pilihan yang lebih baik bagi pemrogram aplikasi AI.
“Kami memposisikan diri sebagai alternatif terbuka untuk OpenAI,” kata Packer. “Menurut saya, sebenarnya sangat, sangat sulit untuk membangun aplikasi AI yang benar-benar bagus, terutama jika Anda peduli dengan halusinasi, jika Anda tidak dapat melihat apa yang terjadi di balik layar.”
NewsRoom.id
