AI 추론과 데이터 도구

Prefill·decode와 메모리

입력 처리와 생성 단계의 차이, FLOP/byte, KV 크기 계산, GPU·TPU의 데이터 경로를 연결합니다.

LLM 추론: 계산량보다 메모리 이동이 느릴 때

KV 저장과 재사용

PagedAttention의 블록 배치, RadixAttention의 접두어 검색과 vLLM prefix caching의 적중 조건을 비교합니다.

KV 캐시: 블록 할당과 접두어 재사용은 다릅니다

데이터 도구 평가

문서 파싱·데이터 질의·정제 도구를 실제 입력, 실행 권한과 버전별 조건으로 구분합니다.

AI 데이터 도구: 기능·권한·이용 조건을 따로 봅니다

이어서 읽기

• GPU 없이 통과한 테스트가 확인하지 못한 것

업무 맥락과 판단

• 기업 AX: 데이터와 의사결정 맥락을 구분하기

  문서가 검색된다고 조직의 판단 근거까지 복원되는 것은 아니다. 업무 맥락을 기록할 때는 근거·예외·권한·수정 이력을 함께 설계해야 한다.