관리형 FM 플랫폼
Anthropic Claude, Amazon Titan·Nova, Meta Llama, Cohere 등 여러 벤더 FM을 단일 API로 제공. Knowledge Bases, Agents, Guardrails, Prompt Management 같은 엔터프라이즈 기능 통합.
대규모 사전학습 범용 모델
방대한 데이터로 사전학습되어 다양한 태스크에 fine-tune 없이 적응 가능한 모델. LLM은 FM의 한 종류.
대규모 언어 모델
수십억~수조 파라미터의 텍스트 기반 FM. Claude, GPT, Titan Text 등. 자연어 이해·생성·요약·번역·추론 광범위.
Bedrock의 주력 LLM
긴 컨텍스트(200K 토큰), 안전성·정확도 강점. 3.5 Sonnet·Haiku·Opus 등 크기별 제공. Multimodal(텍스트+이미지) 지원.
AWS 자체 FM 패밀리
Titan Text (생성), Titan Embeddings (벡터화), Titan Image Generator (이미지), Titan Multimodal Embeddings 등. AWS 생태계와 밀접.
AWS 최신 멀티모달 FM
Nova Micro(텍스트, 최저비용) / Nova Lite(멀티모달) / Nova Pro(고성능) / Nova Canvas(이미지 생성) / Nova Reel(비디오 생성).
관리형 RAG
문서(S3·Confluence 등)를 자동 청킹·임베딩·벡터 DB 저장. 질의 시 관련 청크 검색해 FM 프롬프트에 주입. 벡터 DB는 OpenSearch Serverless 또는 Aurora.
다단계 액션 오케스트레이션
LLM이 사용자 요청을 분해 → 외부 API·Lambda 호출 → 결과 조합. ReAct 패턴 구현. 예약, 주문, 조회 워크플로 자동화.
입·출력 안전 필터
Content Filters(증오·폭력·성적·독성), Denied Topics(금지 주제), Sensitive Info(PII 마스킹), Word Filters(특정 단어), Contextual Grounding(환각 감지). 모델 무관 적용.
Bedrock 용량 약정 과금
일정 용량을 약정(1·6개월)으로 확보 → 단위당 비용 절감. 커스텀 모델(fine-tuned/continued) 추론은 필수. On-Demand는 기본 FM만.
노코드 실험 플레이그라운드
AWS 계정 없이도 Bedrock FM으로 작은 앱을 만들 수 있는 플레이그라운드. 학습·프로토타이핑용.
ML 전주기 플랫폼
노트북, 학습, 튜닝, 배포, 모니터링, 라벨링, 피처 스토어 등 ML 전과정을 관리형으로 제공.
사전학습 모델 카탈로그
Hugging Face·Stable Diffusion·Llama 등 200+ 사전학습 모델을 원클릭 배포·fine-tune. VPC·PrivateLink 지원.
노코드 ML
드래그&드롭으로 분류·회귀·시계열 예측·생성형 AI 모델 생성. 비개발자 대상.
편향 탐지 + SHAP 설명
학습 전·중·후 편향 감지, 피처 기여도(SHAP) 리포트. Responsible AI 표준 도구.
프로덕션 드리프트 감지
배포 모델의 데이터 품질·모델 품질·편향·피처 드리프트 자동 모니터링 + CloudWatch 알림.
모델 거버넌스 문서
모델의 목적·학습 데이터·성능·제약·Responsible AI 정보를 표준 양식으로 기록. 감사·컴플라이언스 필수.
모델 버전 관리
모델 버전·메타데이터·승인 상태(Pending/Approved/Rejected) 관리. CI/CD 파이프라인 통합.
피처 중앙 저장소
학습·추론에서 일관된 피처 사용. 팀 간 피처 공유·재사용·버전 관리.
데이터 라벨링 플랫폼
자체 라벨러·Mechanical Turk·벤더 라벨러 사용. Ground Truth Plus는 AWS가 전문 라벨러 팀을 관리.
시각 ETL
ML 학습 데이터 준비를 GUI로. 조인·변환·피처 엔지니어링을 코드 없이.
학습 문제 진단
학습 중 gradient·가중치·activation 이상을 감지 → 조기 중단·알림.
대규모 FM 분산 학습
수주~수개월 규모 FM 사전학습용 내결함성 클러스터. 노드 장애 자동 복구.
지도학습
(입력, 라벨) 쌍으로 학습. 분류·회귀·객체 탐지가 대표 태스크.
비지도학습
라벨 없는 데이터에서 패턴·그룹 발견. 클러스터링·차원축소·이상 탐지.
강화학습
에이전트가 환경과 상호작용하며 보상을 극대화. 게임·로봇·RLHF(LLM 튜닝).
인간 피드백 강화학습
LLM 응답에 대한 사람 선호도로 보상 모델 학습 → 정책 개선. Claude·GPT의 톤·안전성을 만든 핵심 기법.
전이 학습
한 태스크에서 배운 지식을 다른 관련 태스크로 이전. Fine-tuning이 대표 구현.
특화 학습
사전학습 모델을 (입력, 출력) 라벨 쌍으로 특정 태스크·도메인에 맞춤. Bedrock·SageMaker 모두 지원.
사전학습 연장
사전학습 모델에 비라벨 대규모 도메인 텍스트로 학습 연장. 새 도메인(법·의학) 언어·어휘 내재화.
과적합
학습 데이터에만 맞고 새 데이터엔 일반화 실패. 해결: 데이터 증강, 정규화↑, 모델 단순화.
과소적합
모델이 너무 단순해 학습·평가 모두 저성능. 해결: 복잡도↑, 학습 시간↑, 피처 추가.
피처 가공
원시 데이터에서 예측에 유용한 입력 변수 생성·선택. 모델 정확도의 결정적 요소.
학습 제어 변수
학습률·배치 크기·epoch 수 등 학습 전에 설정하는 값. SageMaker Automatic Model Tuning으로 자동 최적화.
추론
학습된 모델이 새 데이터에 대해 예측 생성. 배포 후 '사용' 단계.
의미 벡터
단어·문장·이미지를 의미를 담은 고차원 숫자 벡터로 변환. RAG·의미 검색·유사도의 수학적 기반.
토큰 분할
텍스트를 모델 기본 단위(subword·단어)로 쪼개기. Bedrock 과금·context window의 기본 단위.
Self-attention 아키텍처
병렬 self-attention으로 장거리 의존성 포착. 현대 LLM·멀티모달의 기반 아키텍처.
적대적 생성 신경망
생성자와 판별자가 경쟁하며 실제 같은 합성 데이터 생성. 이미지·테이블 합성 데이터에 활용.
확산 기반 이미지 생성
노이즈 제거 반복으로 이미지 생성. Stable Diffusion, Titan Image, Nova Canvas 기반.
재구성 기반 이상 탐지
입력을 압축→재구성 학습. 재구성 오차가 큰 샘플 = 이상치. 라벨 없는 이상 탐지 표준.
모델 지시문
모델에 전달하는 질의·지시 텍스트. System prompt(역할·규칙) + User prompt(질문)로 나뉨.
예시 없이
태스크 예시 없이 지시만으로 수행. 일반 지식·단순 태스크에 적합.
예시 몇 개로 학습
프롬프트에 (입력, 라벨) 예시 2~여러 개 포함 → 모델이 패턴 파악. 분류·형식 맞추기에 강력.
단계별 사고
'단계별로 생각해봐' 지시로 중간 추론 출력. 수학·논리 정확도 크게 향상.
Reason + Act
추론과 외부 도구 호출을 번갈아 수행. 실시간 DB·API 조회형 에이전트의 표준 패턴.
프롬프트 사슬
큰 태스크를 단계별 프롬프트로 쪼개 이전 출력 → 다음 입력으로 전달.
제외 지시 (이미지)
이미지 생성 시 '포함하지 말 것' 리스트. 스타일·객체 배제로 결과 정확도 향상.
랜덤성 제어 (0~1+)
낮으면(0) 결정적, 높으면 다양·창의적. 일관성 필요→↓, 브레인스토밍→↑.
샘플링 후보 제어
Top K: 상위 K개 토큰만 후보. Top P(nucleus): 누적 확률 P까지 후보. 다양성 미세 조정.
최대 입력 토큰
모델이 한 번에 처리 가능한 토큰 수. Claude 200K, Nova 300K 등. 책 요약 실패 = 초과.
최대 출력 토큰
생성 길이 제한. 비용·응답 속도 제어.
공정성
인구 집단별 차별 없는 결과. 데이터 다양화 + Clarify 감사로 확보.
설명 가능성
예측 근거를 이해관계자에게 설명. SHAP·PDP·Model Cards 활용.
투명성
모델의 목적·데이터·한계·성능을 공개. Model Cards·AI Service Cards.
환각 (허위 생성)
사실과 다른 내용을 그럴듯하게 생성. 완화: RAG, 팩트체크, Temperature↓, Guardrails Contextual Grounding.
프롬프트 인젝션
'이전 지시 무시' 같은 문구로 시스템 프롬프트 우회. 방어: Guardrails Prompt Attack Filter + Adversarial prompting.
탈옥 (안전장치 우회)
롤플레잉·우회 기법으로 금지된 응답 유도. Guardrails와 지속 레드팀으로 방어.
Shapley 값 기반 설명
각 피처가 개별 예측에 얼마나 기여했는지 게임이론 기반 계산. SageMaker Clarify 내장.
부분 의존도 그래프
한 피처 값이 바뀔 때 예측이 어떻게 변하는지 시각화. 비기술 이해관계자에게 효과적.
체계적 오류
Sampling(표본), Measurement(측정), Observer(관찰자), Confirmation(확증) 등 유형별 식별·완화 필요.
Human-in-the-loop
ML 판단에 사람 개입. Amazon A2I가 워크플로 관리, Ground Truth Plus가 라벨링 HITL.
책임 있는 AI
AWS 6대 원칙: Fairness, Explainability, Privacy & Security, Safety, Controllability, Transparency.
AWS 서비스 문서
Rekognition·Transcribe 등 AWS AI 서비스의 사용 의도·한계·Responsible AI 고려사항 공식 문서.
AWS 권한 관리
사용자·서비스 권한 정책. Least Privilege 원칙으로 Bedrock·SageMaker 접근 제어.
암호화 키 관리
고객 관리형 키(CMK)로 Bedrock 학습 산출물, S3 데이터, SageMaker 등 암호화.
프라이빗 AWS 서비스 접근
VPC에서 Bedrock·SageMaker 등으로 가는 트래픽이 AWS 백본만 경유. 인터넷 노출 제거.
API 감사 로그
AWS 계정의 모든 API 호출(Bedrock 포함) 기록. 누가·언제·어떤 리소스에.
변조 불가 쿼리형 감사
CloudTrail 로그를 SQL 쿼리 가능한 변조 불가 데이터 레이크에 장기 보관.
리소스 구성 추적
AWS 리소스 변경 이력·규정 준수 평가.
컴플라이언스 매핑·자동화
SOC·ISO·PCI·HIPAA 프레임워크에 리소스·정책을 매핑 + 증거 자동 수집.
컴플라이언스 리포트 저장소
AWS의 공식 SOC·ISO·PCI 리포트와 서드파티 리포트 다운로드 포털. 신규 업로드 알림 구독.
S3 민감 데이터 자동 탐지
ML 기반 PII 분류·탐지. 학습 데이터셋의 민감 정보 발견에 필수.
데이터 소재 규제
특정 지리·법적 경계 내에 데이터 보존. Bedrock은 Region 내 처리 원칙.
AWS vs 고객 책임 분리
AWS = 인프라 보안(서비스 패치·호스트). 고객 = 데이터·IAM·암호화·접근 제어.
사내 AI 어시스턴트
SharePoint·Confluence·S3 등 사내 데이터 인덱싱 + 자연어 질의. IAM·KMS 통합.
IDE 코딩 도우미
VS Code·JetBrains에서 코드 제안·리팩토링·테스트 생성·보안 스캔·라이선스 추적.
NLP 관리형
감정·엔티티·핵심 구절·주제·언어·독성 분석. Comprehend Medical은 의료 엔티티 특화.
음성 → 텍스트 (STT)
다국어 자동 전사, 화자 분리, 의료·콜센터 특화. 자막 타임코드 생성.
텍스트 → 음성 (TTS)
자연스러운 음성 합성. SSML, 뉴럴 음성, 다국어.
실시간·배치 번역
100+ 언어 번역, 커스텀 용어집, 병렬 번역.
이미지·비디오 인식
객체·얼굴·텍스트·모더레이션·커스텀 라벨. 얼굴 수집·비식별 정책 유의.
문서 OCR + 구조 추출
PDF·스캔에서 텍스트·표·폼 자동 추출. 이력서·청구서·계약서 처리.
엔터프라이즈 검색
자연어 질의로 사내 문서 검색. SharePoint·ServiceNow·Confluence 등 커넥터.
추천 엔진
사용자-아이템 상호작용 기반 실시간 개인화 추천.
사기 탐지
결제·계정 생성 사기 패턴 자동 학습·점수화.
의료 받아쓰기·요약
환자-의사 대화 자동 전사 + SOAP 포맷 임상 노트 생성. HIPAA 적격.
챗봇 대화 엔진
Alexa와 같은 엔진. Intent·slot 기반 음성·텍스트 챗봇 구축.
HITL 워크플로
ML 예측 중 낮은 신뢰도 건을 사람 검토로 라우팅. 임계값 조정.
벡터 DB + 검색
k-NN 벡터 검색 지원. Bedrock Knowledge Bases의 기본 벡터 스토어. 엔터프라이즈 검색·로그 분석도 겸용.
관계형 + 벡터
PostgreSQL 호환 + pgvector 확장으로 임베딩 저장·유사도 검색.
그래프 DB (+ ML)
관계 많은 데이터(사기·지식 그래프)에 최적. Neptune ML로 그래프 ML.
객체 스토리지
Bedrock 학습·평가 데이터셋, 모델 아티팩트 저장의 표준.
학습 전용 ML 칩
AWS 자체 설계. GPU 대비 전력 효율 우수 → 대규모 FM 학습 시 환경 영향↓.
추론 전용 ML 칩
고성능·저비용 추론. 프로덕션 LLM 서빙에 활용.