츄리닝개발자

DALL-E3 (openai의 이미지 생성사이트)https://openai.com/index/dall-e-3/이제는 일반 chat gpt사이트에서도 이미지를 만들어준다.     Midjourneyhttps://www.midjourney.com/

채팅을 이용해서 답변을 답으면 줄이 주르르 생기면서 stream으로 답변을 해주는데api의 경우 답변을 받고 가져오기까지 시간이 걸려 이용자가 지루해 할 수 있다. 이때 langchain의 streaming을 사용한다. https://python.langchain.com/docs/concepts/streaming/ Streaming | 🦜️🔗 LangChain* Runnable Interfacepython.langchain.comfrom langchain.chat_models import ChatOpenAIfrom langchain.schema import ( HumanMessage,)from langchain.callbacks.streaming_stdout import StreamingStdOutC..

pdf 문서를 불러와서 embedding vectorDB에 넣고 안의 내용과 연관된 내용을 질문하여 chat gpt한테 답을 받는다.  LLaMa2에서 vector DB를 사용한다고 했는데. vector값 즉 위치값을 저장하는건데 이미지의 모양에 벡터값을 부여하고 그 비슷한 벡터를 찾아 연관된 값을 찾는 형식이라 사과랑 바나나가 비슷한 벡터에 위치하게되 연관값이 높게된다. 즉 일반 db와는 다르게 이미지 값을 저장하고 연관을 시킬수 있다는거다.vectorDB에는 무료인 chroma와 유료인 pinecone, weaviate등이 있다.  pdf를 읽어오기위해 PyPDF 모듈을 설치해준다. pip install pypdf  pypdf 사용참고링크https://python.langchain.com/v0.2/d..

https://www.llama.com/llama2/ Meta Llama 2Llama 2 was pretrained on publicly available online data sources. The fine-tuned model, Llama Chat, leverages publicly available instruction datasets and over 1 million human annotations.www.llama.com 보통 api로 chat gpt를 이용하면 비용이 청구되는데 LLama2 같이 로컬에서 오피셜 LLM을 돌리게되면 비용청구는 안되지만 어느정도 컴퓨터 스펙이 필요하다.그러나 똑똑한 사람들이 경량화 버전을 만들었다.  https://huggingface.co/TheBloke/Lla..

LLM(초거대 언어모델)을 이용한 어플리케이션 개발 프레임워크이다. LLM(Large Language Model)은 초거대 언어 모델로 chat gpt, PaLM, LLaMA 등이 있다. 몇십억개 ~ 몇천억개의 파라미터를 보유한 초거대한 모델의 크기를 보유한 LLM으로 언어를 input하면 해당하는 답이나 다음 단어를 들을수있는 언어기반의 언어모델이다.  즉슨 랭체인이란 LLM 초거대 언어모델로 개발을 하기 쉽게 만드는 도구의 모음이다. LLM로 만드는 여러 도구의 모음이라고 보면 쉽다. 랭체인은 그런 도구의 연결역할을 한다.  LLM(Large Language Model)에 대하여platform.openai.com/playground에서 예를 알수있다.mode가 chat일때는 대화형식으로 답을 주고 c..