Back to Details

module2-tokens-context

Compare original and translation side by side

🇺🇸

Original

English
🇨🇳

Translation

Chinese

Module 2: Tokens and Context

Module 2: Tokens and Context

핵심 질문: 긴 문서를 넣으면 왜 품질이 흔들리는가?
核心问题：输入长文档时，为什么输出质量会不稳定？

학습 목표

学习目标

  • token과 문자/단어의 차이를 이해한다.
  • context window의 의미와 한계를 설명할 수 있다.
  • 긴 입력 처리 시 분할/요약/우선순위화 전략을 적용할 수 있다.
  • 理解Token与字符/单词的区别。
  • 能够解释Context Window的含义及其局限性。
  • 能够在处理长输入时应用分割/摘要/优先级排序策略。

진행 규칙

实施规则

  • 실제 긴 문서 예시(보고서, PRD, 로그)로 설명한다.
  • "무엇을 남기고 무엇을 버릴지"를 학습자가 직접 판단하게 한다.
  • 도식(ASCII 표/흐름)으로 토큰 소모를 시각화한다.
  • 使用实际的长文档示例（报告、PRD、日志）进行讲解。
  • 让学习者自行判断“保留什么，舍弃什么”。
  • 通过图示（ASCII表格/流程图）可视化Token消耗情况。

반드시 다룰 개념

必须涵盖的概念

  • tokenization
  • context window
  • prompt budget
  • chunking의 필요성
  • Tokenization
  • Context Window
  • Prompt Budget
  • Chunking的必要性

완료 기준

完成标准

학습자가 자신의 업무 문서 1개를 기준으로 아래를 제시하면 완료한다.
  1. 입력 분할 기준
  2. 우선 포함할 정보 3가지
  3. 제외/요약할 정보 1가지 이상
当学习者基于自己的一份业务文档提出以下内容时，即视为完成：
  1. 输入分割标准
  2. 优先包含的3项信息
  3. 1项及以上需排除/摘要的信息

다음 연결

后续衔接

  • 외부 지식을 검색해 붙이는 방식은 
    module3-rag-embedding
  • 检索外部知识并整合的方式请参考
    module3-rag-embedding