Ingyenes ChatGPT alternatíva
Az AI Code King YouTube-csatorna ismét egy izgalmas és innovatív megoldást mutat be, amellyel ingyenesen használhatjuk a ChatGPT által nyújtott funkciókat. Az új, nyílt forráskódú Phi-3 modell és a Streamlit keretrendszer kombinálásával létrehozhatunk egy helyi RAG (Retrieval-Augmented Generation) chatbotot, amely képes PDF és DOC fájlok feldolgozására is.
A legtöbb nyílt forráskódú AI modell futtatásához drága, high-end GPU-kra van szükség, mint például az NVIDIA RTX 3090, amely nem mindenki számára elérhető. Azonban a Microsoft által nemrégiben bemutatott Phi-3 Mini modell akár egy okostelefonon is képes futni, ami hatalmas előrelépés az AI világában.
A Streamlit és a Phi-3 kombinálásakor az Alama nevű eszközt használjuk a modell kiszolgálásához. A telepítési folyamat egyszerű, mindössze néhány parancsot kell futtatnunk a terminálban. A Streamlit egy felhasználóbarát és intuitív keretrendszer, amely lehetővé teszi interaktív AI alkalmazások létrehozását.
Phi-3 és Streamlit telepítése
A telepítéshez először klónoznunk kell a FEDA repository-t, majd követnünk kell az ott található utasításokat. Fontos, hogy az Alama és a Python már telepítve legyen a gépünkön. Az Alama a Large Language Model (LLM) futtatására szolgáló eszköz, amely egyszerűbbé teszi a modellek kezelését és használatát.
A RAG chatbot használata
Miután sikeresen telepítettük és elindítottuk az alkalmazást, a Streamlit felületén keresztül használhatjuk a RAG chatbotot. Kiválaszthatjuk a Phi-3 modellt, és akár URL vagy dokumentum nélkül is chattelhetünk vele. A RAG chatbotok különlegessége, hogy képesek külső adatforrásokból, például weboldalakról vagy dokumentumokból kinyerni a releváns információkat, és azokat felhasználni a válaszadás során.
Az AI Code King videójában bemutatott példák szemléltetik, hogy a chatbot képes cikkeket és kutatási anyagokat is összefoglalni percek alatt. Ez a teljesítmény lenyűgöző, tekintve, hogy mindezt ingyen és internetkapcsolat nélkül érhetjük el.
A Phi-3 modell megjelenésével elérhetővé vált egy hatékony és megbízható AI eszköz azok számára is, akik nem engedhetik meg maguknak a drága GPU-kat vagy előfizetéseket. Ez a fejlesztés democratizálja az AI technológiát, és szélesebb körben elérhetővé teszi az AI által nyújtott lehetőségeket.
(Eredeti cikk: youtube.com)
