Token Splitter node#
Token Splitter node จะช่วยแยก string ข้อความดิบ โดยจะแปลงข้อความเป็น BPE token ก่อน แล้วค่อยแบ่ง token เป็น chunk จากนั้นแปลง token ในแต่ละ chunk กลับเป็นข้อความ
ในหน้านี้จะมี parameter ของ node Token Splitter และลิงก์ resource อื่นๆ ที่เกี่ยวข้อง
Parameter resolution in sub-nodes (การประมวลผล Parameter ใน sub-nodes)
Sub-nodes มีพฤติกรรมแตกต่างจาก node อื่นๆ เมื่อประมวลผลหลายรายการโดยใช้ expression
Node ส่วนใหญ่ รวมถึง root node จะรับ input กี่รายการก็ได้ ประมวลผลรายการเหล่านี้ และส่ง output ออกมา คุณสามารถใช้ expression เพื่ออ้างอิงถึง input item และ node จะประมวลผล expression สำหรับแต่ละ item ตามลำดับ ตัวอย่างเช่น หากมี input เป็นค่า name ห้ารายการ expression {{ $json.name }} จะถูกประมวลผลเป็นแต่ละชื่อตามลำดับ
ใน sub-nodes expression จะถูกประมวลผลเป็น item แรกเสมอ ตัวอย่างเช่น หากมี input เป็นค่า name ห้ารายการ expression {{ $json.name }} จะถูกประมวลผลเป็นชื่อแรกเสมอ
Node parameters#
- Chunk Size: ใส่จำนวนตัวอักษรในแต่ละ chunk
- Chunk Overlap: ใส่จำนวนตัวอักษรที่ chunk จะซ้อนทับกัน
Templates and examples#
Related resources#
ดูข้อมูลเพิ่มเติมได้ที่ LangChain's token documentation และ LangChain's text splitter documentation
ดูเอกสาร Advanced AI ของ n8n
AI glossary#
- completion: Completions are the responses generated by a model like GPT.
- hallucinations: Hallucination in AI is when an LLM (large language model) mistakenly perceives patterns or objects that don't exist.
- vector database: A vector database stores mathematical representations of information. Use with embeddings and retrievers to create a database that your AI can access when answering questions.
- vector store: A vector store, or vector database, stores mathematical representations of information. Use with embeddings and retrievers to create a database that your AI can access when answering questions.