nsbg 🌞

주 1회 진행하는 스터디 모임에서 함께 공부해보기로 한 자료 정리 목적으로 글을 작성한다. 스터디원분께서 좋은 자료를 추천해주셔서 정말 오랜만에 진득한 이론 공부를 하게 될 것 같다. 원문: https://github.com/CausalInferenceLab/Causal-Inference-with-Python 머신러닝과 인과관계 ◾ 머신러닝은 엄격한 바운더리 안에서 엄청난 일을 할 수 있지만, 주어진 데이터가 모델이 학습한 것과 조금 다를 경우 제대로 작동하지 않을 수 있음 ◾ 머신러닝은 상관관계에 의존하기 때문에 인과관계(causation) 유형의 문제를 잘 다루지 못함 예시) "호텔 산업에서 가격은 비수기일 때 저렴하고, 수요가 가장 많고 호텔이 가득 차는 성수기 시즌에는 가격이 높습니다. 해당 데이..

💬 개인이 여러 자료를 참고하면서 이해한대로 정리한 내용입니다. 오타나 옳지 못한 정보가 있을 경우 댓글로 알려주세요 🙂 Adversarial Attack | 적대적 공격 구글링해보니까 적대적 공격의 개념을 크게 두 가지로 정의할 수 있는 것 같다. 두 개 다 말하고자 하는 바는 동일한 것으로 이해했고 표현의 차이가 아닐까 싶다. 1. 딥러닝 모델이 있을 때 주어진 데이터에 Adversarial perurbation을 적용하여 Adversarial example을 생성하고, 모델이 Adversarial example에 대해 오분류를 일으키게 하는 공격 방법. (KISA REPORT, 정보통신기획평가원 적대적 머신러닝 기술 동향에서 일부 발췌) 2. 머신러닝 알고리즘 자체의 취약점에 의해 적대적 환경에서 ..

15.1 순환 뉴런과 순환 층 ◽ RNN은 각 타임 스텝 t마다 X(t)와 이전 타임 스텝의 출력인 Y(t-1)을 입력으로 받음 ◽ 첫번째 타임 스텝은 이전 출력이 없기 때문에 보통 0으로 설정 ◽ 시간을 축으로 나타낼 경우 시간에 따라 네트워크를 펼쳤다고 표현 하나의 샘플에 대한 순환 층의 출력 미니배치에 있는 전체 샘플에 대한 순환 뉴런 층의 출력 15.1.1 메모리 셀 ◽ 메모리 셀(또는 셀) : 타임 스텝에 걸쳐 어떤 상태를 보존하는 신경망의 구성 요소 ◽ h(t) : 타임 스텝 t에서의 셀의 상태. 그 타임 스텝의 입력과 이전 타임 스텝의 상태에 대한 함수 15.1.2 입력과 출력 시퀀스 1) 시퀀스-투-시퀀스 네트워크 : 하나의 입력 시퀀스, 하나의 출력 시퀀스(네트워크 전체로 보면 여러 개의..

구조 개념 정적인 환경에서 학습을 진행하는 지도/비지도학습과 달리, 어떤 환경 안에서 정의된 주체(agent)가 현재의 상태(state)를 관찰하여 선택할 수 있는 행동(action)들 중에서 가장 최대의 보상(reward)을 가져다주는지 행동을 학습하는 것 18.1 보상을 최적화하기 위한 학습 에이전트는 보상의 장기간 기대치를 최대로 만드는 행동을 학습하는 것을 목적으로 함 18.2 정책 탐색 1) 정책의 개념 ◽ 에이전트가 행동을 결정하기 위해 사용하는 알고리즘 ◽ 에이전트가 어떤 상태에서 행동을 취하게 될 때 상태에 맞게 취할 수 있는 행동을 연결해 주는 함수 2) 확률적 정책 ◽ 어떤 상태에 대한 행동들의 확률분포를 반환 3) 유전 알고리즘 ◽ 적자생존 이론을 기반으로 한 최적화 기법 ◽ 부모와 ..

DCGAN 깊은 합성곱(Deep Convolution) 층을 기반으로 큰 이미지를 생성하기 위한 GAN 1) Guideline ◽ 판별자의 풀링 층 → stride convolution으로 교체 ◽ 생성자의 풀링 층 → fractional-strided convolution으로 교체 ◽ 생성자의 출력층과 판별자의 입력층을 제외한 모든 층에 Batch Normalization 적용 ◽ 층을 깊게 쌓기 위해 완전 연결 은닉층 제거 ◽ tanh 함수를 사용해야 하는 출력층을 제외하고 생성자의 모든 층에 ReLU 활성화 함수 적용 ◽ 판별자의 모든 층에 LeakyReLU 활성화 함수 사용 2) 한계 DCGAN으로 매우 큰 이미지를 생성할 경우 특징은 구분되지만 전반적으로 일관성 없는 이미지를 얻을 가능성이 높음..

생성자(Generator) 랜덤한 분포(일반적으로 가우시안 분포)를 입력 받고 새로운 데이터 인스턴스 생성. 변이형 오토인코더의 디코더와 같은 기능을 제공하지만 훈련 방식이 크게 다르다. 판별자(Discriminator) 생성자로부터 얻은 가짜 데이터나 훈련 세트에서 추출한 진짜 데이터를 입력으로 받아 입력된 데이터가 진짜인지 가짜인지 구별한다. 작동 방식 판별자가 더 이상 가짜로 판정하지 않는 합성 데이터를 생성자가 생성할 수 있을 때까지, 생성자와 감별자는 서로 경쟁하면서 훈련하게 된다. 훈련을 성공적으로 마치면 생성자가 생성한 데이터로 새로운 합성 데이터를 만들어서 다른 심층 신경망에 입력으로 사용할 수도 있다. 출처: https://kr.mathworks.com/ 훈련 방식 목표가 다른 두 네트워..

CNN - 이미지 분류에 많이 사용되며 convolutional layer / pooling layer(생략하기도 함)로 구성 Convolutional layer 📌 필터는 이미지의 특징을 찾아내기 위한 공용 파라미터로 kernel이라고 부르기도 함 Stride - 필터 적용 간격 ex) stride=1 : 1칸씩 이동, stride=2 : 2칸씩 이동 Output - 입력 데이터 크기, 필터 크기, stride가 주어졌을 때 1+(입력 크기-필터 크기)/stride - output feature map 채널 수 = convolution 필터 수 📌 합성곱 연산 수행 시 가중치 정하는 법 ① 랜덤 값으로 초기화 ② 가지고 있는 데이터로 학습 Padding - 합성곱 연산 수행 전 입력 데이터 주변을 특정..

Classification binary classification : variable is either 0 or 1 Logistic vs Linear - Logistic regression을 적용하기 위한 데이터들은 이산적(구분이 명확함) - Linear regression은 연속적 - 0, 1 형태로 값을 얻고 싶을 때 Linear regression은 바로 얻을 수 없고 다른 식을 필요로 함 Sigmoid(Logistic) function - 중간 값은 0.5 - 계단 형식의 함수를 미분이 가능한 곡선 형태로 바꾸어주는 역할 - Binary classification → 마지막 레이어 활성함수로 사용 Decision Boundary - 이진 클래스 또는 다중 클래스 분류 문제에서 모델이 학습한 클래스..

* 실습 소스 코드 : github.com/nsbg/AI Concept - 경사를 따라 내려가면서 최저점을 찾도록 설계된 알고리즘 - 최적화 : 이득 최대화, 손실 최소화 - cost 함수에서 cost를 최소화하는 W, b를 찾는 것 How it works 1) 추정을 통해 W, b 설정(어떤 값이든 상관없음) 2) cost가 조금씩 줄어들도록 W, b 값 업데이트 3) 최저점에 도달했다고 판단될 때까지 과정 2) 반복 ∴ 곡선 상에서 임의의 한 지점을 정한 후 이 점에서의 기울기(Gradient)를 구하고, 가중치 W와 기울기를 곱한 값을 W에서 빼줬을 때 그 결과값이 다음 가중치 W(어떤 점에서 시작해도 결과값은 동일) Formal definition Batch(GPU가 한번에 처리하는 데이터 묶음)..