FM API 플랫폼
Claude·Titan·Nova·Llama·Cohere·Mistral·Stability 등 여러 FM을 단일 API로. Agents·Knowledge Bases·Guardrails·Prompt Management·Model Evaluation 포함.
사전학습 범용 모델
방대한 데이터로 학습된 범용 모델. LLM은 FM의 한 종류.
고성능 LLM
Claude 3 (Haiku/Sonnet/Opus), 3.5 (Sonnet), multimodal 지원. Bedrock 대표 모델.
AWS 자체 FM
Titan Text/Embed/Image · Nova Pro/Lite/Micro (멀티모달).
요청당 과금
기본 FM만 지원. 토큰 수 기반 과금. 커스텀 모델 불가.
예약 용량
Model Unit 시간당 과금. 커스텀 모델(fine-tuned/CPT) 추론 필수. 고볼륨 상시.
대량 비동기
S3 입력 → S3 출력. 상시 엔드포인트 불필요. 대량 비실시간.
리전 간 라우팅
요청을 여러 리전에 자동 분산. 스로틀링 완화·가용성 향상.
스트리밍 API
토큰 단위 응답 전송. 대화형 UX 대기 시간 체감 단축.
매니지드 RAG
Data Source(S3 등) → Chunking → Embedding → 벡터 DB. Retrieve / RetrieveAndGenerate API.
검색만
쿼리 → 관련 청크 반환. LLM 응답 생성은 클라이언트.
검색+생성
검색된 청크를 컨텍스트로 응답 생성. citations 자동 포함.
문서 분할 방식
Fixed size, Sentence, Semantic. 검색 정확도·LLM 컨텍스트 크기 영향.
자동 재색인
S3·웹·Confluence 등 주기적 재색인. 증분 업데이트.
벡터 DB
Bedrock KB 기본 추천. Hybrid search (k-NN + BM25). 자동 확장.
RDB 벡터
기존 Aurora에 pgvector 확장 추가. SQL 조인·필터 결합 가능.
그래프 벡터
엔티티·관계 + 임베딩. 복잡한 지식 네트워크 질의.
엔터프라이즈 검색
40+ SaaS 커넥터. ACL 인식. 매니지드 의미 검색.
텍스트 → 벡터
Titan Embed·Cohere Embed·Jina 등. 차원·토큰 한도 확인 필수.
키워드+의미 결합
BM25 + Vector k-NN. RRF로 결합 순위. 정확도 향상.
자율 에이전트
LLM이 판단·Lambda 호출·Knowledge Bases 조회 자율 오케스트레이션.
API/Lambda 도구
에이전트가 호출할 API 스키마 + Lambda 매핑. OpenAPI 기반.
세션 상태
대화 기억. sessionId로 이전 턴 맥락 유지.
시각적 프롬프트 DAG
Node: prompt / KB / Lambda / S3 Retrieve. 조건 분기·병렬 지원.
프롬프트 버전 관리
Prompts · Variants · Versions · Aliases. CloudFormation 배포.
복잡 워크플로
Bedrock 작업을 Step Functions 상태 머신에 통합. 장기 실행·에러 처리.
서버리스 통합
이벤트 기반 호출. 전처리·후처리·도구 실행.
안전 정책
Content Filter · Denied Topics · Sensitive Info · Word Filter. 요청·응답 모두 스캔.
유해 콘텐츠
혐오·폭력·성·불법 행위. Low/Medium/High 차단 강도.
금지 주제
사용자 정의 주제 차단 (법률·의료·금융 조언 등).
PII 필터
이메일·전화·계좌·SSN 등 Block 또는 Anonymize.
단어 차단
특정 단어·정규식 기반 필터.
환각 방지
RAG 결과와 LLM 응답의 일관성 검증. 비관련·근거 없는 응답 필터.
성능 평가
Automatic (LLM-as-judge) + Human Workforce. 정확도·독성·편향.
AI 윤리
공정성·설명 가능성·프라이버시·안전성·견고성·거버넌스 6원칙.
기업 Q&A
매니지드 RAG + 인증·ACL. 40+ 데이터 소스 커넥터.
개발자 AI
IDE 코드 생성·리팩터·IaC. 이전 CodeWhisperer.
노코드 앱 생성
프롬프트로 내부 앱 빌드·공유.
FM 배포
Bedrock 외 오픈소스 FM (Llama, Falcon, Stable Diffusion 등) 원클릭 배포.
FM 추론
JumpStart 모델 Real-time / Serverless / Async / Batch 엔드포인트.
앱 개발 UI
생성형 AI 앱 비주얼 빌더. 팀 협업·배포.
체험 플레이그라운드
코드 없이 Bedrock 기반 앱 빌드·공유.
텍스트 임베딩
v1 / v2 (multilingual). 1536/1024 차원.
이미지+텍스트
이미지·텍스트 공통 벡터 공간. 이미지 검색에 사용.
다국어 임베딩
Embed English / Multilingual. RAG용 고성능.
ETL + 생성
ETL 파이프라인에 FM 호출 (분류·요약·변환).
문서 저장소
Knowledge Base Data Source. Event로 자동 재색인 트리거.
프라이빗 Bedrock
인터넷 우회. 엔터프라이즈 컴플라이언스.
암호화
커스텀 모델 아티팩트·KB 데이터 CMK 암호화.
접근 제어
모델·에이전트·KB별 리소스 정책. Service Role 필수.
감사 로그
프롬프트·응답 CloudWatch Logs 또는 S3 저장. 모니터링·감사.
사용량 지표
InvocationCount·InvocationLatency·InputTokens·OutputTokens.
API 감사
모든 Bedrock API 호출 기록. 보안 조사·컴플라이언스.
SaaS 프라이빗
Anthropic/Cohere 등 외부 FM 공급자와의 프라이빗 연결.
프롬프트 설계
Zero-shot·Few-shot·Chain-of-Thought·ReAct·Self-consistency.
예시 포함
프롬프트에 (입력, 출력) 예시 제공. 추론 품질 향상.
단계적 추론
'let's think step by step' → 중간 추론 과정 유도.
역할 지정
LLM의 페르소나·제약·톤 정의. 프롬프트 인젝션 방어 1차선.
공격 기법
사용자 입력으로 system prompt 우회. Guardrails·System prompt hardening 필수.
환각
LLM이 근거 없이 생성한 잘못된 정보. RAG + Contextual Grounding으로 완화.
컨텍스트 한도
모델이 한 번에 처리 가능한 토큰 수. Claude 3.5 Sonnet = 200K.
생성 조절
Temperature (창의성)·Top-K/Top-P (다양성)·Max Tokens.