인공지능과 역사

인공지능의 지나온 세월

이러한 변화의 대부분은 인터넷으로 인해 대량의 데이터를 즉시 사용할 수 있게 되면서 변화되었다.온라인에서 수억 명의 사용자를 서비스하는 기업의 출현, 값싼 고품질 센서의 보급, 값싼 데이터 스토리지(크라이더의 법칙), 값싼 컴퓨팅(모어의 법칙), 원래 컴퓨터 게임을 위해 사용되던 특히 GPU의 형태 발전이 큰 변화를 만들었다. 갑자기 연산적으로 실현 불가능해 보이는 알고리즘과 모델이 관련되었다. 일단 RAM이 데이터 증가와 보조를 맞추지 못하고 있는 것은 분명하다. 동시에, 계산 능력의 증가가 이용 가능한 데이터의 증가량을 앞질렀다. 컴퓨팅 성능의 증가로 인해 이러한 매개변수를 최적화하는 데 더 많은 시간을 할애할 수 있다. 즉, 통계적 모델에서 메모리 효율성이 향상되어야 함을 의미한다(이는 일반적으로 비선형성을 추가함으로써 해결이 된다). 결과적으로, 기계 학습과 통계에서 좋은 점은 (일반화된) 선형 모델과 커널 방법에서 딥 네트워크로 이동했다. 비교적 오랫동안 정체기 이후에,본질적으로 지난 10년 동안 재발견된 주제로 계층 수용체[McCulloch & Pitts, 1943], 경동신경망[LeCun 등, 1998], 장기단기억기[Hochreiter & Schmidhuber, 1997], Q-Learning[Watkins & Dayan, 1992] 등이 딥러닝의 메인 주제가 되었다. 최근의 통계적 모델, 응용 프로그램, 알고리즘의 발전은 종의 진화가 급속도로 진전한 캠브리안 폭발에 비유되었다. 사실, 기술의 상태는 수십 년 된 알고리즘에 적용해는것이지 단순히 가용 자원의 결과만이 아니다. 일단 이야기하는 내용은 지난 10년 동안 연구자들이 엄청난 발전을 이루는데 도움을 준 아이디어의 일부분을 이야기하는것이지 전부를 이야기하는 것이 아니다. 많은 업적 중에 모래 알깽이 수준을 소개일뿐 이다. 드롭아웃[Srivastava et al., 2014]과 같은 새로운 용량 제어 방법은 과잉 피팅 위험을 완화하는 데 도움이 되었다. 이는 네트워크 전체에 소음 주입[Bishop, 1995]을 적용하여 훈련 목적을 위해 무작위 변수에 의한 가중치를 대체함으로써 달성되었다.주의 메커니즘은 한 세기 넘게 통계를 괴롭혔던 두 번째 문제인 학습 가능한 매개 변수의 수를 늘리지 않고 시스템의 기억력과 복잡성을 증가시키는 방법을 해결하였다. [바흐다나우 외, 2014]는 학습 가능한 포인터 구조로만 볼 수 있는 것을 사용함으로써 우아한 솔루션을 찾았다. 예를 들어, 고정된 차원 표현에서의 기계 번역의 경우, 문장 전체를 기억해야 하기보다는, 저장해야 할 것은 번역 과정의 중간 상태에 대한 포인터뿐이었다. 이것은 모델이 새로운 문장의 생성을 시작하기 전에 더 이상 전체 문장을 기억할 필요가 없기 때문에 긴 문장의 정확도를 크게 증가시켰다. 예를 들어, 다단계 설계[Memory Networks(메모리 네트워크)][Sukhbaatar et al., 2015] 및 Neural Programmer-Interpreter[Red & DeFreitas, 2015]는 통계 모델링자들이 추론에 대한 반복적인 접근법을 기술할 수 있도록 허용했다. 이러한 도구들은 심층 네트워크의 내부 상태를 반복적으로 수정할 수 있게 하여 프로세서가 계산을 위해 메모리를 수정할 수 있는 방법과 유사하게 추리 체인의 후속 단계를 수행한다. 또 다른 핵심 개발은 GANs의 발명이었다[Goodfellow et al., 2014]. 전통적으로, 밀도 추정과 생성 모델을 위한 통계적 방법은 적절한 확률 분포와 그것들로부터 샘플링을 위한 (흔히 근사치) 알고리즘을 찾는 데 초점을 맞췄다. 결과적으로, 이러한 알고리즘은 통계적 모델에 내재된 유연성의 결여에 의해 크게 제한되었다. GANs의 중요한 혁신은 샘플러를 다른 매개변수로 임의 알고리즘으로 대체하는 것이었다. 그런 다음 판별기준이 가짜와 실제 데이터를 구별할 수 없는 것에 대해 다음과 같은 방식으로 조정된다. 임의 알고리즘을 사용하여 데이터를 생성하는 기능을 통해 밀도 추정을 매우 다양한 기법으로 개방했다. 질주하는 얼룩말[Zhu et al., 2017]과 가짜 연예인 얼굴[Karras et al., 2017]의 예는 둘 다 이러한 진전의 증거다. 아마추어 낙서자도 장면의 레이아웃이 어떻게 보이는지 설명하는 스케치만으로 사실적인 이미지를 연출할 수 있다. 많은 경우에, 단일 GPU는 교육에 이용할 수 있는 많은 양의 데이터를 처리하기에 불충분하다. 지난 10년 동안 병렬 분산 훈련 알고리즘을 구축하는 능력은 크게 향상되었다. 확장 가능한 알고리즘 설계 시 핵심 과제 중 하나는 딥러닝 최적화의 일꾼인 확률적 구배 강하(stractic gradient download)가 처리할 데이터의 상대적으로 작은 미니바치에 의존한다는 점이다. 동시에, 작은 배치들은 GPU의 효율을 제한한다. 인공지능은 달성하기 어려운 결과를 도출해낸 오랜 역사를 가지고 있다. 예를 들어, 메일은 광학 문자 인식을 사용하여 정렬된다. 이러한 시스템은 90년대부터 배치되었다(결국 이것은 유명한 MNIST와 USPS의 자필 숫자 세트의 원천이다). 은행 예금의 수표 열람이나 신청자의 신용도 점수 매김도 마찬가지다. 금융거래는 자동으로 사기 여부를 확인한다. 이것은 페이팔, 스트라이프, 알리페이, 위챗, 애플, 비자, 마스터카드와 같은 많은 전자상거래 결제 시스템의 중추적인 역할을 한다. 체스를 위한 컴퓨터 프로그램은 수십 년 동안 경쟁적이었다. 머신러닝은 인터넷에서 검색, 추천, 개인화 및 순위를 제공한다. 흔히 보이지 않는 곳에 숨기는 경우가 많지만 인공지능과 머신러닝이 만연해 있다는 얘기다.