2024/12/31 3

ChatPDF - pdf를 읽어서 chatgpt에게 물어보기

pdf 문서를 불러와서 embedding vectorDB에 넣고 안의 내용과 연관된 내용을 질문하여 chat gpt한테 답을 받는다.  LLaMa2에서 vector DB를 사용한다고 했는데. vector값 즉 위치값을 저장하는건데 이미지의 모양에 벡터값을 부여하고 그 비슷한 벡터를 찾아 연관된 값을 찾는 형식이라 사과랑 바나나가 비슷한 벡터에 위치하게되 연관값이 높게된다. 즉 일반 db와는 다르게 이미지 값을 저장하고 연관을 시킬수 있다는거다.vectorDB에는 무료인 chroma와 유료인 pinecone, weaviate등이 있다.  pdf를 읽어오기위해 PyPDF 모듈을 설치해준다. pip install pypdf  pypdf 사용참고링크https://python.langchain.com/v0.2/d..

컴퓨터 과학/AI 2024.12.31

LLaMa2 - local에서 LLM돌리기

https://www.llama.com/llama2/ Meta Llama 2Llama 2 was pretrained on publicly available online data sources. The fine-tuned model, Llama Chat, leverages publicly available instruction datasets and over 1 million human annotations.www.llama.com 보통 api로 chat gpt를 이용하면 비용이 청구되는데 LLama2 같이 로컬에서 오피셜 LLM을 돌리게되면 비용청구는 안되지만 어느정도 컴퓨터 스펙이 필요하다.그러나 똑똑한 사람들이 경량화 버전을 만들었다.  https://huggingface.co/TheBloke/Lla..

컴퓨터 과학/AI 2024.12.31