소프트맥스 회귀/소프트맥스회귀구현.ipynb

{
 "metadata": {
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.7-final"
  },
  "orig_nbformat": 2,
  "kernelspec": {
   "name": "python37764bitdpvenv3835be669c484e1397b1b7ff62365c4c",
   "display_name": "Python 3.7.7 64-bit ('dp': venv)"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2,
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [
    {
     "output_type": "execute_result",
     "data": {
      "text/plain": "<torch._C.Generator at 0x1107a8370>"
     },
     "metadata": {},
     "execution_count": 1
    }
   ],
   "source": [
    "import torch\n",
    "import torch.nn as nn \n",
    "import torch.nn.functional as F \n",
    "import torch.optim as optim\n",
    "\n",
    "torch.manual_seed(1)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "x_train = [[1, 2, 1, 1],\n",
    "           [2, 1, 3, 2],\n",
    "           [3, 1, 3, 4],\n",
    "           [4, 1, 5, 5],\n",
    "           [1, 7, 5, 5],\n",
    "           [1, 2, 5, 6],\n",
    "           [1, 6, 6, 6],\n",
    "           [1, 7, 7, 7]]\n",
    "y_train = [2, 2, 2, 1, 1, 1, 0, 0]\n",
    "x_train = torch.FloatTensor(x_train)\n",
    "y_train = torch.LongTensor(y_train)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {
    "tags": []
   },
   "outputs": [
    {
     "output_type": "stream",
     "name": "stdout",
     "text": "torch.Size([8, 3])\n"
    }
   ],
   "source": [
    "# 소프트맥스 회귀 구현 하기 \n",
    "# x_train , y_trian\n",
    "\n",
    "y_one_hot = torch.zeros(8, 3)\n",
    "y_one_hot.scatter_(1, y_train.unsqueeze(1), 1)\n",
    "print(y_one_hot.shape)\n",
    "\n",
    "# y_train에서 원-핫 인코딩을 한 결과인 y_one_hot의 크기는 8 × 3입니다. 즉, W 행렬의 크기는 4 × 3이어야 합니다.\n",
    "# W와 b를 선언하고, 옵티마이저로는 경사 하강법을 사용합니다. 그리고 학습률은 0.1로 설정합니다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 모델 초기화 \n",
    "w = torch.zeros((4,3) ,requires_grad= True)\n",
    "b = torch.zeros(1, requires_grad=True)\n",
    "\n",
    "# optimizer 설정\n",
    "optimizer =optim.SGD([w , b ], lr=0.1)\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {
    "tags": []
   },
   "outputs": [
    {
     "output_type": "stream",
     "name": "stdout",
     "text": "Epoch :    0/1000 loss : 0.088908\nEpoch :  100/1000 loss : 0.087929\nEpoch :  200/1000 loss : 0.086972\nEpoch :  300/1000 loss : 0.086034\nEpoch :  400/1000 loss : 0.085115\nEpoch :  500/1000 loss : 0.084215\nEpoch :  600/1000 loss : 0.083334\nEpoch :  700/1000 loss : 0.082469\nEpoch :  800/1000 loss : 0.081622\nEpoch :  900/1000 loss : 0.080792\nEpoch : 1000/1000 loss : 0.079977\ntensor(0.0800, grad_fn=<MeanBackward0>)\n"
    }
   ],
   "source": [
    "# F.softmax()와 torch.log()를 사용하여 가설과 비용 함수를 정의하고, 총 1,000번의 에포크를 수행합니다.\n",
    "epochs = 1000\n",
    "\n",
    "for epoch in range(epochs + 1):\n",
    "\n",
    "    # 가설\n",
    "    hypothesis = F.softmax(x_train.matmul(w) + b, dim=1)\n",
    "    # loss\n",
    "    loss = (y_one_hot * -torch.log(hypothesis)).sum(dim=1).mean()\n",
    "    # loss H(x) 개선\n",
    "    optimizer.zero_grad()\n",
    "    loss.backward()\n",
    "    optimizer.step()\n",
    "    # 100번 마다 로그 출력\n",
    "    if epoch % 100 == 0:\n",
    "        print(\"Epoch : {:4d}/{} loss : {:.6f}\".format(epoch, epochs, loss.item()))\n",
    "\n",
    "print(loss)\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ]
}