참조 : https://python.langchain.com/docs/modules/model_io/chat/quick_start
Chat Models
Language model의 변형으로 내부적으로는 language model을 사용하지만 interface가 다름
(Chat messge가 interface로 사용됨)
Setup
사용하고자 하는 LLM의 python package 설치하고 API 접근을 위한 Key를 설정하면 끝!
Step | Desc | Etc. |
1. Install Python package | pip install langchain-openai | |
2. Setup API Key | OS> export OPEN_API_KEY="...' or In program> os.environ["OPENAI_API_KEY"] = "..." |
LCEL
LLMs implement the Runnable interface, the basic building block of the LangChain Expression Language (LCEL)
다음과 같은 Call을 제공함
Calls | Code | Etc. |
(Prepare) | messages = [ SystemMessage(content="You're a helpful assistant"), HumanMessage(content="What is the purpose of model regularization?"), ] |
|
invoke | chat.invoke( messages ) | 일반 동기 수행 |
stream | for chunk in chat.stream( messages): print(chunk.content, end="", flush=True) |
Stream 동기 수행 |
batch | chat.batch( [ messages ] ) | Batch 동기 수행 |
ainvoke | await chat.ainvoke( messages ) | 일반 비동기 수행 |
astream | async for chun in chat.astream( messages ): print(chunk, end="", flush=True) |
Stream 비동기 수행 |
abatch | await chat.abatch( [ messages ] ) | Batch 비동기 수행 |
astream_log | async for chunk in chat.astream_log( messages ) : print(chunk) |
Log |