mocad_tom
2024-04-22, 15:04:18
Einfach ein ganz normales LLM lokal laufen zu lassen ist nicht schwierig.
Spannender wird es, wenn man dem LLM noch etwas spezialwissen einimpfen kann.
RAG -- Retrieval-Augmented Generation
Mit RAG kann ich ein LLM nehmen und dem nochmal etwas rantrainieren.
Das wird besonders spannend, sobald die kommerziell frei verwendbaren guten LLama 3 Modell endlich alle released werden.
Chat with RTX kann RAG und ich finde es sauspannend, weil es von der Schachtel raus schon einiges mitbringt.
https://www.nvidia.com/en-us/ai-on-rtx/chatrtx/
Ich habe den Installationspfad nicht in Program Files reingelegt.
Bei mir liegt es dort:
C:/chat_with/RAG/trt-llm-rag-windows-main/dataset
Ich habe Source-Code-Dateien in .txt umbenannt und in diesen Ordner reingelegt und lernen lassen.
Ich hoffe hier kommt bald eine Version mit LLama 3 70B raus, dann könnte die Qualität der Ausgabe noch besser werden.
Und es wird auch interessant, wieviel Speicher man benötigt für das LLama 3 400B Modell.
Spannender wird es, wenn man dem LLM noch etwas spezialwissen einimpfen kann.
RAG -- Retrieval-Augmented Generation
Mit RAG kann ich ein LLM nehmen und dem nochmal etwas rantrainieren.
Das wird besonders spannend, sobald die kommerziell frei verwendbaren guten LLama 3 Modell endlich alle released werden.
Chat with RTX kann RAG und ich finde es sauspannend, weil es von der Schachtel raus schon einiges mitbringt.
https://www.nvidia.com/en-us/ai-on-rtx/chatrtx/
Ich habe den Installationspfad nicht in Program Files reingelegt.
Bei mir liegt es dort:
C:/chat_with/RAG/trt-llm-rag-windows-main/dataset
Ich habe Source-Code-Dateien in .txt umbenannt und in diesen Ordner reingelegt und lernen lassen.
Ich hoffe hier kommt bald eine Version mit LLama 3 70B raus, dann könnte die Qualität der Ausgabe noch besser werden.
Und es wird auch interessant, wieviel Speicher man benötigt für das LLama 3 400B Modell.