Llama 3 + Groq: valós idejű AI hírkereső
A Groq egy különleges, új típusú feldolgozóegységet, az úgynevezett LPU-t (Language Processing Unit) biztosítja, amely jelentősen felgyorsítja a nagy nyelvi modellek (LLM-ek) következtetési sebességét. Ez az új technológia kifejezetten a szekvenciális komponensű, számításigényes alkalmazások, mint például az LLM-ek számára lett kifejlesztve.
Másrészről a Meta nemrégiben kiadta a Llama 3 modelleket, amelyek közül a nagyobb, 70 milliárd paraméteres változat jelenleg az ötödik helyen áll az LMSys LLM ranglistáján. Az angol nyelvű feladatokban pedig a GPT-4 mögött a második legjobb teljesítményt nyújtja. A Llama 3 modellek tehát kiemelkedő minőségű szöveggenerálásra képesek, ami kulcsfontosságú egy generatív AI hírkereső motor számára.
A Llama 3 8B modell választásának előnyei
A kisebb méretű modellek, mint például a Llama 3 8B, gyorsabb következtetést tesznek lehetővé, mivel kevesebb VRAM-ot igényelnek, és a kevesebb paraméter számítása miatt a token generálás is gyorsabb. Ezért esett a választás erre a modellre a generatív AI hírkereső motor fejlesztéséhez.
A cikkben részletesen bemutatásra kerül a fejlesztés folyamata, beleértve a Newsdata.io News API használatát a hírek lekéréséhez, a Groq Python könyvtárával való interakciót a Llama 3 8B modell eléréséhez, valamint a kontextuskezelést a tokenek optimális kihasználása érdekében.
Egyszerű, de hatékony prompt
A generatív AI hírkereső alkalmazáshoz egy egyszerű, de jól működő promptot használtak, amely arra utasítja a modellt, hogy a lekért hírek közül csak a keresési lekérdezéshez kapcsolódóakat tartsa meg, és azokat foglalja össze tömör, professzionális és tisztelettudó módon.
Az Agent összeállítása
Végül az összes komponens, beleértve a Llama 3-mal való interakciót a Groq-on keresztül, a kontextuskezelést, a rendszerpromptot és a hírlekérést, egy egységes Agent-be került összefoglalásra. Ez az Agent egy lekérdezést fogad bemenetként, lekéri a kapcsolódó híreket, kiválasztja a releváns információkat, és összefoglalót generál a Llama 3 8B modell segítségével.
API és környezeti változók
A GenerativeAI News Search alkalmazás egy streaming API-n keresztül érhető el, amelyet a FastAPI és az Uvicorn segítségével valósítottak meg. A futtatáshoz szükséges környezeti változók, például a Groq és a Newsdata.io API kulcsok, egy .env fájlban tárolhatók.
Összefoglalva, a Llama 3 és a Groq együttműködése egy hatékony és gyors generatív AI hírkereső motor létrehozását tette lehetővé. Ez a projekt kiválóan demonstrálja a fejlett nyelvi modellek és a gyorsított következtetési hardver kombinálásában rejlő lehetőségeket, amelyek a közeljövőben forradalmasíthatják az információkeresést és -feldolgozást.
(Eredeti cikk: towardsai.net)
