EP167: 반드시 알아야 할 AI 개념 Top 20
이번 주 시스템 디자인 리프레셔:
- 반드시 알아야 할 AI 개념 Top 20
- RAG 앱 구축을 위한 AI Application Stack
- Shopify Tech Stack과 도구들
- 신간 『Mobile System Design Interview』 Amazon 출시
- Featured Job
- Other Jobs
- SPONSOR US
반드시 알아야 할 AI 개념 Top 20
- Machine Learning: 핵심 알고리즘, 통계, 모델 훈련 기법들
- Deep Learning: 복잡한 표현을 자동으로 학습하는 계층적 Neural Network
- Neural Networks: 비선형 관계를 효과적으로 모델링하는 레이어 구조
- NLP: 자연어 텍스트를 처리하고 이해하는 기술
- Computer Vision: 시각 데이터를 해석하고 분석하는 알고리즘
- Reinforcement Learning: 환경과 상호작용하며 보상을 최대화하도록 학습하는 방식
- Generative Models: 학습된 데이터를 기반으로 새로운 데이터 샘플을 생성
- LLM: 대규모 사전 훈련 데이터를 사용해 인간과 유사한 텍스트 생성
- Transformers: 현대 AI 모델의 핵심인 Self-attention 기반 아키텍처
- Feature Engineering: 모델 성능 향상을 위한 유의미한 피처 설계
- Supervised Learning: 레이블된 데이터를 사용해 예측 모델을 학습
- Bayesian Learning: 확률적 모델 접근법을 통해 불확실성 반영
- Prompt Engineering: Generative model 출력을 유도하기 위한 효과적인 입력 설계
- AI Agents: 인지하고, 결정하고, 행동하는 자율 시스템
- Fine-Tuning Models: 특정 도메인 작업에 맞게 사전 훈련 모델 커스터마이징
- Multimodal Models: 이미지, 비디오, 텍스트 등 다양한 데이터 유형 처리 및 생성
- Embeddings: 입력을 기계가 읽을 수 있는 벡터 형식으로 변환
- Vector Search: Dense vector embedding을 사용해 유사한 항목 탐색
- Model Evaluation: Validation 기법을 사용한 예측 성능 평가
- AI Infrastructure: AI 운영을 지원하는 확장 가능한 시스템 배포
Over to you: 이 목록에 어떤 AI 개념을 추가하시겠습니까?
RAG 앱 구축을 위한 AI Application Stack
-
Large Language Models RAG(Retrieval-Augmented Generation)의 핵심 엔진으로, 쿼리를 이해하고 일관성 있고 맥락에 맞는 응답을 생성합니다. 대표적인 LLM으로는 OpenAI GPT 모델, Llama, Claude, Gemini, Mistral, DeepSeek, Qwen 2.5, Gemma 등이 있습니다.
-
Frameworks and Model Access prompt orchestration, 모델 전환, 메모리, chaining, routing을 처리하여 애플리케이션에 LLM을 쉽게 통합할 수 있게 해주는 도구들입니다. Langchain, LlamaIndex, Haystack, Ollama, Hugging Face, OpenRouter 등이 있습니다.
-
Databases RAG 애플리케이션은 관련 정보의 저장과 검색에 의존합니다. Vector database는 유사도 검색에 최적화되어 있고, Postgres 같은 관계형 데이터베이스는 구조화된 저장소를 제공합니다. Postgres, FAISS, Milvus, pgVector, Weaviate, Pinecone, Chroma 등이 있습니다.
-
Data Extraction Knowledge base를 구축하기 위해 PDF, 웹사이트, API 같은 비정형 소스에서 구조화된 정보를 추출하는 도구들입니다. Llamaparse, Docking, Megaparser, Firecrawl, ScrapeGraph AI, Document AI, Claude API 등이 있습니다.
-
Text Embeddings Embedding은 텍스트를 고차원 벡터로 변환하여 시맨틱 유사도 검색을 가능하게 합니다. 이는 RAG에서 쿼리와 관련 컨텍스트를 연결하는 핵심 단계입니다. Nomic, OpenAI, Cognita, Gemini, LLMWare, Cohere, JinaAI, Ollama 등이 있습니다.
Over to you: RAG 앱 구축을 위해 어떤 것을 추가하시겠습니까?
Shopify Tech Stack과 도구들
Shopify는 대부분의 시스템을 무너뜨릴 규모를 처리합니다.
단 하루(2024년 Black Friday)에 플랫폼은 1,730억 건의 요청을 처리했고, 분당 2억 8,400만 건의 최대 요청을 기록했으며, 매분 12테라바이트의 트래픽을 edge를 통해 전송했습니다.
이 수치들은 이상치가 아닙니다. Shopify가 달성하고자 하는 지속적인 목표입니다. 이 규모 뒤에는 겉으로 보기에 매우 단순한 스택이 있습니다: Ruby on Rails, React, MySQL, 그리고 Kafka.
하지만 그 단순함 뒤에는 날카로운 아키텍처 결정들, 수년간의 리팩토링, 그리고 수천 가지의 신중한 트레이드오프가 숨겨져 있습니다.
이 뉴스레터에서 Shopify를 구동하는 tech stack을 다음 관점에서 살펴봅니다:
- 여전히 비즈니스를 운영하는 modular monolith
- 장애 도메인을 격리하는 pods
- 하루에 수백 개의 변경사항을 배포하는 deployment pipeline
- Shopify가 엄청난 규모에서도 빠르고, 탄력적이고, 개발자 친화적으로 유지되기 위해 사용하는 도구, 프로그래밍 언어, 패턴들
Shopify의 세계적 수준의 엔지니어링 팀이 인사이트를 공유하고 이 심층 기술 탐구에 협력해 주신 것에 깊이 감사드립니다.
신간 『Mobile System Design Interview』 Amazon 출시
저자: Manuel Vicente Vivo
책 내용
- 면접관이 실제로 무엇을 찾고 왜 그러는지에 대한 내부자의 시각
- 모든 모바일 시스템 디자인 면접 질문을 해결하는 5단계 프레임워크
- 상세한 솔루션이 포함된 7개의 실제 모바일 시스템 디자인 면접 질문
- 복잡한 기술 개념과 구현 전략에 대한 24개의 심층 분석
- 모바일 시스템 디자인 원칙의 전체 스펙트럼을 다루는 175개 주제
목차
- Chapter 1: Introduction
- Chapter 2: A Framework for Mobile System Design Interviews
- Chapter 3: Design a News Feed App
- Chapter 4: Design a Chat App
- Chapter 5: Design a Stock Trading App
- Chapter 6: Design a Pagination Library
- Chapter 7: Design a Hotel Reservation App
- Chapter 8: Design the Google Drive App
- Chapter 9: Design the YouTube app
- Chapter 10: Mobile System Design Building Blocks
- Quick Reference Cheat Sheet for MSD Interview
Thank you for reading.