분류 전체보기 215

serverless-http 서버리스 방식의 express 모듈

https://www.npmjs.com/package/serverless-http serverless-httpUse existing web application frameworks in serverless environments. Latest version: 3.2.0, last published: 2 years ago. Start using serverless-http in your project by running `npm i serverless-http`. There are 247 other projects in the npm registry using swww.npmjs.com express만 사용하게되면 서버를 띄워야 코드를 실행시킬수 있는데 serverless-http 모듈이 추가되면 expr..

Back End/Node js 2025.01.04

AWS Lambda - 서버리스 형식 코드실행

https://us-east-1.console.aws.amazon.com/lambda/home?region=us-east-1#/begin https://us-east-1.console.aws.amazon.com/lambda/home?region=us-east-1#/begin us-east-1.console.aws.amazon.com 서버리스 형식으로 코드를 실행하는 aws lambda이다.  일반적으로는 aws ec2와 같은 서버를 대여하여 환경을 설정해준뒤 코드를 실행하면 서버가 계속 돌아가면서 api 요청을 받고 리턴시키는 형식이다.  람다에서는 서버가 없이 백엔드 코드를 함수에 넣어서 업로드 하면된다. 여기서는 항상 서버가 실행하는게 아니라 api 요청이오면 그때만 잠시 서버를 실행해서 리턴을해주고..

Cloud/AWS 2025.01.04

Cloudflare - 트래픽 제한없는 클라우드

https://pages.cloudflare.com/ Cloudflare PagesBuild your next application with Cloudflare Pagespages.cloudflare.com 여기는 유일하게 무료로 트래픽을 무한대로 지원하는 사이트이다.  카테고리에서 pages에 들어가서 git을 연결해서 업로드하거나 direct upload로 파일을 업로드하면 된다.추천방법은 front end 파일을 여기에 업로드하고 백엔드는 aws로 올리는거다.

Cloud 2025.01.03

Langchain streaming - 실시간으로 답변받기

채팅을 이용해서 답변을 답으면 줄이 주르르 생기면서 stream으로 답변을 해주는데api의 경우 답변을 받고 가져오기까지 시간이 걸려 이용자가 지루해 할 수 있다. 이때 langchain의 streaming을 사용한다. https://python.langchain.com/docs/concepts/streaming/ Streaming | 🦜️🔗 LangChain* Runnable Interfacepython.langchain.comfrom langchain.chat_models import ChatOpenAIfrom langchain.schema import ( HumanMessage,)from langchain.callbacks.streaming_stdout import StreamingStdOutC..

컴퓨터 과학/AI 2025.01.02

ChatPDF - pdf를 읽어서 chatgpt에게 물어보기

pdf 문서를 불러와서 embedding vectorDB에 넣고 안의 내용과 연관된 내용을 질문하여 chat gpt한테 답을 받는다.  LLaMa2에서 vector DB를 사용한다고 했는데. vector값 즉 위치값을 저장하는건데 이미지의 모양에 벡터값을 부여하고 그 비슷한 벡터를 찾아 연관된 값을 찾는 형식이라 사과랑 바나나가 비슷한 벡터에 위치하게되 연관값이 높게된다. 즉 일반 db와는 다르게 이미지 값을 저장하고 연관을 시킬수 있다는거다.vectorDB에는 무료인 chroma와 유료인 pinecone, weaviate등이 있다.  pdf를 읽어오기위해 PyPDF 모듈을 설치해준다. pip install pypdf  pypdf 사용참고링크https://python.langchain.com/v0.2/d..

컴퓨터 과학/AI 2024.12.31

LLaMa2 - local에서 LLM돌리기

https://www.llama.com/llama2/ Meta Llama 2Llama 2 was pretrained on publicly available online data sources. The fine-tuned model, Llama Chat, leverages publicly available instruction datasets and over 1 million human annotations.www.llama.com 보통 api로 chat gpt를 이용하면 비용이 청구되는데 LLama2 같이 로컬에서 오피셜 LLM을 돌리게되면 비용청구는 안되지만 어느정도 컴퓨터 스펙이 필요하다.그러나 똑똑한 사람들이 경량화 버전을 만들었다.  https://huggingface.co/TheBloke/Lla..

컴퓨터 과학/AI 2024.12.31