v1.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 15,
   "id": "17492401-eabc-4ac2-878f-08bcfe43accb",
   "metadata": {},
   "outputs": [],
   "source": [
    "import requests\n",
    "import urllib.request\n",
    "from bs4 import BeautifulSoup\n",
    "from pprint import pprint\n",
    "from enum import Enum\n",
    "from IPython.display import HTML, display\n",
    "import pandas as pd\n",
    "from io import StringIO\n",
    "import os"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "id": "7e4daf35-1eb9-45b2-b5fd-9b88224dc473",
   "metadata": {},
   "outputs": [],
   "source": [
    "# CONST\n",
    "USER_ID = os.environ[\"UNIPA_USER_ID\"]\n",
    "PLAIN_PASSWORD = os.environ[\"UNIPA_PLAIN_PASSWORD\"]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "id": "90ad6e0c",
   "metadata": {},
   "outputs": [],
   "source": [
    "class LoginState(Enum):\n",
    "    Success = 0\n",
    "    FAILED = 1\n",
    "    MAINTENANCE = 2\n",
    "    TIMEOUT = 3\n",
    "\n",
    "# TOOD: without login_url ;(\n",
    "def getLoginState(soup, login_url) -> LoginState:\n",
    "   if 'メンテナンス' in str(soup.body):\n",
    "      return LoginState.MAINTENANCE\n",
    "   if 'タイムアウト' in str(soup.body):\n",
    "      return LoginState.TIMEOUT\n",
    "   if soup.find(id=\"form1\").attrs.get(\"action\") == login_url:\n",
    "      return LoginState.FAILED\n",
    "   return LoginState.Success"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "id": "accc97ca",
   "metadata": {},
   "outputs": [],
   "source": [
    "session = requests.Session()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "id": "c2b799a5-ac53-418f-b4e8-ac9fa3107582",
   "metadata": {},
   "outputs": [],
   "source": [
    "BASE_URL = 'https://unipa.itp.kindai.ac.jp'\n",
    "url = BASE_URL + '/up/faces/login/Com00501A.jsp'\n",
    "\n",
    "res = session.get(url)\n",
    "soup = BeautifulSoup(res.text, \"html.parser\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "id": "a1b1d609-ba87-4ea1-b9a2-5495c6f10426",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "LOGIN_URL: https://unipa.itp.kindai.ac.jp/up/faces/login/Com00501A.jsp\n",
      "TOKEN    : _id17686:_id17687\n"
     ]
    }
   ],
   "source": [
    "# id=form1 action=\"/up/faces/login/Com00504A.jsp\"\n",
    "login_url = soup.find(id=\"form1\").attrs.get(\"action\")\n",
    "token = soup.find(id=\"com.sun.faces.VIEW\").attrs.get(\"value\")\n",
    "\n",
    "print(\"LOGIN_URL:\", BASE_URL + login_url)\n",
    "print(\"TOKEN    :\", token)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "id": "a275227a-6946-469a-be8e-630f89188f52",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<Response [200]>\n"
     ]
    }
   ],
   "source": [
    "params = urllib.parse.urlencode({\n",
    "    'form1:htmlUserId': USER_ID, # 学籍番号\n",
    "    'form1:htmlPassword': PLAIN_PASSWORD, # パスワード\n",
    "    'form1:login.x': '50', # ﾋｰ\n",
    "    'form1:login.y': '10', # ﾋｰ\n",
    "    \"form1:htmlNextFuncId\":\t\"\",\n",
    "    \"form1:htmlHiddenSsoFlg\": \"\",\n",
    "    \"form1:htmlHiddenUserId\": \"\",\n",
    "    \"form1:htmlHiddenPassword\":\t\"\",\n",
    "    \"form1:htmlHiddenUnipaSso\":\t\"\",\n",
    "    \"com.sun.faces.VIEW\": token,\n",
    "    \"form1\": \"form1\",\n",
    "})\n",
    "\n",
    "headers = {\n",
    "    \"Content-Type\": \"application/x-www-form-urlencoded\",\n",
    "    # \"Cookie\": \";\".join(cookies),\n",
    "}\n",
    "\n",
    "r = session.post(url=BASE_URL + login_url, data=params, headers=headers)\n",
    "print(r)\n",
    "soup = BeautifulSoup(r.text, \"html.parser\")\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "id": "4c43b8c6-fd6c-4b4f-86ed-15fd6999ba4d",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'2024/04/14 01:42'"
      ]
     },
     "execution_count": 23,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "if (state := getLoginState(soup, login_url)) != LoginState.Success:\n",
    "    raise Exception(\"Login Failed\", state)\n",
    "\n",
    "# 雑名前取得\n",
    "soup.find(id=\"header\").find(\"span\").text.split(\"\\xa0\")[0].replace(\"\\u3000\", \" \")\n",
    "\n",
    "# 最終ログイン時間\n",
    "soup.find(id=\"header\").find(\"span\").text.split(\"\\xa0\")[-1]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "id": "d8d1798b",
   "metadata": {},
   "outputs": [],
   "source": [
    "def decodeText(text):\n",
    "    return text.replace(\"\\u3000\", \" \").replace(\">\", \"\").replace(\"<\", \"\").replace(\" \", \"\").replace(\"\\xa0\", \"\")\n",
    "\n",
    "# listから\\nを抹殺する\n",
    "def removelistEnter(array):\n",
    "    return list(filter(lambda x: x != \"\\n\", array))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "id": "b0b9e8ef-9de1-4823-82f6-bedb14b48bdf",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{'menu1': [{'onclick': 'clickMenuItem(101,0);', 'text': '学籍情報照会'},\n",
      "           {'onclick': 'clickMenuItem(109,0);', 'text': '住所等変更申請'},\n",
      "           {'onclick': 'clickMenuItem(110,0);', 'text': '各種申請登録'},\n",
      "           {'onclick': 'clickSiteMenuItem(111,0);', 'text': '奨学金申込'},\n",
      "           {'onclick': 'clickSiteMenuItem(10501,0);', 'text': 'KudosKnowledge'},\n",
      "           {'onclick': 'clickSiteMenuItem(10502,0);', 'text': 'KindaiMail'},\n",
      "           {'onclick': 'clickSiteMenuItem(10505,0);', 'text': '学費振込'}],\n",
      " 'menu2': [{'onclick': 'clickMenuItem(201,0);', 'text': '学生時間割表'},\n",
      "           {'onclick': 'clickMenuItem(202,0);', 'text': '授業時間割表'},\n",
      "           {'onclick': 'clickMenuItem(203,0);', 'text': '教員時間割表'},\n",
      "           {'onclick': 'clickMenuItem(211,0);', 'text': '学生出欠状況確認'},\n",
      "           {'onclick': 'clickSiteMenuItem(215,0);', 'text': 'シラバス照会'}],\n",
      " 'menu3': [{'onclick': 'clickMenuItem(311,0);', 'text': '履修登録'},\n",
      "           {'onclick': 'clickMenuItem(331,0);', 'text': '成績照会'}],\n",
      " 'menu4': [{'onclick': 'clickSiteMenuItem(40208,0);', 'text': 'R6前期履修の流れ'},\n",
      "           {'onclick': 'clickSiteMenuItem(40505,0);', 'text': '2024年4月現在'},\n",
      "           {'onclick': 'clickSiteMenuItem(41037,0);', 'text': '2024年度入学生用'},\n",
      "           {'onclick': 'clickSiteMenuItem(41040,0);', 'text': '2023年度入学生用'},\n",
      "           {'onclick': 'clickSiteMenuItem(41043,0);', 'text': '2022年度入学生用'},\n",
      "           {'onclick': 'clickSiteMenuItem(41044,0);', 'text': '訂正（2022年度入学）'},\n",
      "           {'onclick': 'clickSiteMenuItem(41046,0);', 'text': '2021年度入学生用'},\n",
      "           {'onclick': 'clickSiteMenuItem(41047,0);', 'text': '訂正（2021年度入学）'},\n",
      "           {'onclick': 'clickSiteMenuItem(41201,0);', 'text': '欠席届発行について'},\n",
      "           {'onclick': 'clickSiteMenuItem(41501,0);', 'text': '教員免許取得見込証明書'}],\n",
      " 'menu5': [{'onclick': 'clickMenuItem(501,0);', 'text': '自習室予約'},\n",
      "           {'onclick': 'clickMenuItem(505,0);', 'text': '教室(ACT)予約'}],\n",
      " 'menu6': [{'onclick': 'clickMenuItem(601,0);', 'text': 'アンケート回答'},\n",
      "           {'onclick': 'clickMenuItem(602,0);', 'text': '授業評価回答'},\n",
      "           {'onclick': 'clickMenuItem(605,0);', 'text': '安否確認回答'}],\n",
      " 'menu7': [{'onclick': 'clickMenuItem(711,0);', 'text': 'UNIPA･アプリ改善要望'}],\n",
      " 'menu8': [{'onclick': 'clickMenuItem(853,0);', 'text': '就職活動体験談を見る'},\n",
      "           {'onclick': 'clickMenuItem(85001,0);', 'text': '希望進路登録'},\n",
      "           {'onclick': 'clickMenuItem(85003,0);', 'text': '進路状況登録(就職・進学等)'},\n",
      "           {'onclick': 'clickMenuItem(85005,0);', 'text': '就職活動体験談を登録'},\n",
      "           {'onclick': 'clickSiteMenuItem(85008,0);', 'text': 'OBOG登録'},\n",
      "           {'onclick': 'clickSiteMenuItem(85601,0);', 'text': 'ビズリーチ・キャンパス'},\n",
      "           {'onclick': 'clickSiteMenuItem(85603,0);', 'text': 'OBOG一覧（PDF）'},\n",
      "           {'onclick': 'clickMenuItem(85701,0);', 'text': '企業情報・就職実績を見る'},\n",
      "           {'onclick': 'clickSiteMenuItem(85703,0);', 'text': 'インターンシップを探す'},\n",
      "           {'onclick': 'clickSiteMenuItem(85705,0);', 'text': '求人情報を見る'},\n",
      "           {'onclick': 'clickSiteMenuItem(86001,0);', 'text': '近大生おすすめ企業検索'},\n",
      "           {'onclick': 'clickSiteMenuItem(86301,0);', 'text': '法学部'},\n",
      "           {'onclick': 'clickSiteMenuItem(86302,0);', 'text': '経済学部'},\n",
      "           {'onclick': 'clickSiteMenuItem(86303,0);', 'text': '経営学部'},\n",
      "           {'onclick': 'clickSiteMenuItem(86304,0);', 'text': '理工学部'},\n",
      "           {'onclick': 'clickSiteMenuItem(86305,0);', 'text': '建築学部'},\n",
      "           {'onclick': 'clickSiteMenuItem(86306,0);', 'text': '薬学部'},\n",
      "           {'onclick': 'clickSiteMenuItem(86307,0);', 'text': '文芸学部'},\n",
      "           {'onclick': 'clickSiteMenuItem(86308,0);', 'text': '総合社会学部'},\n",
      "           {'onclick': 'clickSiteMenuItem(86309,0);', 'text': '国際学部'},\n",
      "           {'onclick': 'clickSiteMenuItem(86310,0);', 'text': '情報学部'},\n",
      "           {'onclick': 'clickSiteMenuItem(86311,0);', 'text': '農学部'},\n",
      "           {'onclick': 'clickSiteMenuItem(86312,0);', 'text': '生物理工学部'},\n",
      "           {'onclick': 'clickSiteMenuItem(86313,0);', 'text': '工学部'},\n",
      "           {'onclick': 'clickSiteMenuItem(86314,0);', 'text': '産業理工学部'},\n",
      "           {'onclick': 'clickSiteMenuItem(86315,0);', 'text': '短期大学部'},\n",
      "           {'onclick': 'clickSiteMenuItem(86316,0);', 'text': '大学院'},\n",
      "           {'onclick': 'clickSiteMenuItem(86501,0);', 'text': '個別面談予約'},\n",
      "           {'onclick': 'clickSiteMenuItem(86503,0);', 'text': 'イベント・セミナー予約'},\n",
      "           {'onclick': 'clickSiteMenuItem(86505,0);', 'text': '予約マニュアル'},\n",
      "           {'onclick': 'clickSiteMenuItem(86701,0);', 'text': '履歴書入力(データ用)'},\n",
      "           {'onclick': 'clickSiteMenuItem(86703,0);', 'text': '履歴書様式(手書き用)'},\n",
      "           {'onclick': 'clickSiteMenuItem(86705,0);', 'text': '英文履歴書の書き方'},\n",
      "           {'onclick': 'clickSiteMenuItem(87001,0);', 'text': '就職手帳(デジタル版)'},\n",
      "           {'onclick': 'clickSiteMenuItem(87003,0);', 'text': '就活データベース'},\n",
      "           {'onclick': 'clickSiteMenuItem(87301,0);', 'text': '書類送付状(Word)'},\n",
      "           {'onclick': 'clickSiteMenuItem(87303,0);', 'text': 'お礼状(Word)'}]}\n"
     ]
    }
   ],
   "source": [
    "links = {}\n",
    "\n",
    "for content in soup.find(id=\"menubox\").contents:\n",
    "    if content == \"\\n\": continue\n",
    "\n",
    "    id = content.attrs.get(\"id\")\n",
    "    menu_title = content.find(class_=\"menuhead\").text\n",
    "\n",
    "    item = []\n",
    "    # サブメニューの中にサブメニューがある場合は一旦無視する。\n",
    "    for a in content.find(class_=\"submenu\").find_all(\"a\"):\n",
    "        onclick = a.attrs.get(\"onclick\")\n",
    "        if onclick is None:\n",
    "            continue\n",
    "        item.append({\n",
    "            \"text\": decodeText(a.text),\n",
    "            \"onclick\": onclick,\n",
    "        })\n",
    "    links[id] = item\n",
    "\n",
    "pprint(links)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "id": "f80b2074-2efb-4335-b504-9b02393ff867",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<Response [200]>\n"
     ]
    }
   ],
   "source": [
    "# めんどくさいので一旦決め打ち\n",
    "# 'menu2': [{'onclick': 'clickMenuItem(201,0);', 'text': '学生時間割表'},\n",
    "menuNo,funcRowId = 201, 0\n",
    "token = soup.find(id=\"com.sun.faces.VIEW\").attrs.get(\"value\")\n",
    "\n",
    "params = urllib.parse.urlencode({\t\n",
    "  \"header:form1:htmlMenuItemButton\": \"実行\",\n",
    "  \"header:form1:hiddenMenuNo\": str(menuNo),\n",
    "  \"header:form1:hiddenFuncRowId\":str(funcRowId),\n",
    "  \"com.sun.faces.VIEW\": token,\n",
    "  \"header:form1\": \"header:form1\",\n",
    "})\n",
    "\n",
    "r = session.post(url=BASE_URL + login_url, data=params, headers=headers)\n",
    "print(r)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 27,
   "id": "c67f2e41",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['2024年度', '前期']\n",
      "| 　  |　　 月 　　　| 　　火 　　　| 　　水 　　　| 　　木 　　　| 　　金 　　　| 　　土 　　　|\n",
      "------------------------------------------------------------------------------------\n",
      "| 1限 | 　　　　　　 | 　　　　　　 | 　　　　　　 | 　　　　　　 | 基礎微分積分 | 　　　　　　 |\n",
      "| 2限 | 基礎線形代数 | 近大ゼミ【石 | 　　　　　　 | 情報処理実習 | 　　　　　　 | 　　　　　　 |\n",
      "| 3限 | コンピュータ | プログラミン | 　　　　　　 | 　　　　　　 | 　　　　　　 | 　　　　　　 |\n",
      "| 4限 | 英語総合１（ | プログラミン | 英語総合１（ | 　　　　　　 | 　　　　　　 | 　　　　　　 |\n",
      "| 5限 | 　　　　　　 | 　　　　　　 | 韓国語総合１ | オーラルイン | 　　　　　　 | 　　　　　　 |\n",
      "| 6限 | 　　　　　　 | 　　　　　　 | 　　　　　　 | 　　　　　　 | 　　　　　　 | 　　　　　　 |\n",
      "| 7限 | 　　　　　　 | 　　　　　　 | 　　　　　　 | 　　　　　　 | 　　　　　　 | 　　　　　　 |\n"
     ]
    }
   ],
   "source": [
    "soup = BeautifulSoup(r.text, \"html.parser\")\n",
    "\n",
    "if (state := getLoginState(soup, login_url)) != LoginState.Success:\n",
    "    raise Exception(\"Login Failed\", state)\n",
    "\n",
    "#  \t開講年度 学期 表示形式 form\n",
    "soup.find_all(\"table\")[4]\n",
    "\n",
    "# 開講年度, 学期\n",
    "print(soup.find_all(\"table\")[5].text.split())\n",
    "\n",
    "# 時間割テーブル\n",
    "table = soup.find_all(\"table\")[6]\n",
    "# display(HTML(str(table)))\n",
    "contents = removelistEnter([content.text for content in table.find(\"tr\").contents])\n",
    "\n",
    "csv = \",\".join(contents)\n",
    "\n",
    "items = []\n",
    "for cell in table.find(\"tbody\").find_all(\"tr\"):\n",
    "    item = removelistEnter([decodeText(tr.text)[0:6] or \"　\"*6 for tr in cell])\n",
    "    csv += \"\\n\" + \",\".join(item)\n",
    "    items.append(item)\n",
    "\n",
    "# transpose\n",
    "timetable = list(zip(*items))\n",
    "\n",
    "for i, item in enumerate(timetable):\n",
    "    if i == 0:\n",
    "        print(f\"| 　  |　　\", \" 　　　| 　　\".join(item), \"　　　|\")\n",
    "        print( \"-\" * 84)\n",
    "        continue\n",
    "    print(f\"| {i}限 |\", \" | \".join(item), \"|\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 28,
   "id": "b14a0fef",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>0</th>\n",
       "      <th>1</th>\n",
       "      <th>2</th>\n",
       "      <th>3</th>\n",
       "      <th>4</th>\n",
       "      <th>5</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>Unnamed: 0</th>\n",
       "      <td>月</td>\n",
       "      <td>火</td>\n",
       "      <td>水</td>\n",
       "      <td>木</td>\n",
       "      <td>金</td>\n",
       "      <td>土</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1時限</th>\n",
       "      <td></td>\n",
       "      <td></td>\n",
       "      <td></td>\n",
       "      <td></td>\n",
       "      <td>基礎微分積分</td>\n",
       "      <td></td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2時限</th>\n",
       "      <td>基礎線形代数</td>\n",
       "      <td>近大ゼミ【石</td>\n",
       "      <td></td>\n",
       "      <td>情報処理実習</td>\n",
       "      <td></td>\n",
       "      <td></td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3時限</th>\n",
       "      <td>コンピュータ</td>\n",
       "      <td>プログラミン</td>\n",
       "      <td></td>\n",
       "      <td></td>\n",
       "      <td></td>\n",
       "      <td></td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4時限</th>\n",
       "      <td>英語総合１（</td>\n",
       "      <td>プログラミン</td>\n",
       "      <td>英語総合１（</td>\n",
       "      <td></td>\n",
       "      <td></td>\n",
       "      <td></td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5時限</th>\n",
       "      <td></td>\n",
       "      <td></td>\n",
       "      <td>韓国語総合１</td>\n",
       "      <td>オーラルイン</td>\n",
       "      <td></td>\n",
       "      <td></td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6時限</th>\n",
       "      <td></td>\n",
       "      <td></td>\n",
       "      <td></td>\n",
       "      <td></td>\n",
       "      <td></td>\n",
       "      <td></td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7時限</th>\n",
       "      <td></td>\n",
       "      <td></td>\n",
       "      <td></td>\n",
       "      <td></td>\n",
       "      <td></td>\n",
       "      <td></td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                 0       1       2       3       4       5\n",
       "Unnamed: 0       月       火       水       木       金       土\n",
       "1時限         　　　　　　  　　　　　　  　　　　　　  　　　　　　  基礎微分積分  　　　　　　\n",
       "2時限         基礎線形代数  近大ゼミ【石  　　　　　　  情報処理実習  　　　　　　  　　　　　　\n",
       "3時限         コンピュータ  プログラミン  　　　　　　  　　　　　　  　　　　　　  　　　　　　\n",
       "4時限         英語総合１（  プログラミン  英語総合１（  　　　　　　  　　　　　　  　　　　　　\n",
       "5時限         　　　　　　  　　　　　　  韓国語総合１  オーラルイン  　　　　　　  　　　　　　\n",
       "6時限         　　　　　　  　　　　　　  　　　　　　  　　　　　　  　　　　　　  　　　　　　\n",
       "7時限         　　　　　　  　　　　　　  　　　　　　  　　　　　　  　　　　　　  　　　　　　"
      ]
     },
     "execution_count": 28,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "pd.read_csv(StringIO(csv)).T"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "58a60d6b",
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.13"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}