技術的なメモ
apache のエラーログにおいて、日本語のメッセージが16進数形式の文字に変換され読めない。
“\x8ew\x92\xe8\x82\xb3\x82\xea\x82\xbd\x83\x82\x83W\x83\x85\x81[\x83\x8b\x82\xaa\x8c\xa9\x82\xc2\x82\xa9\x82\xe8\x82\xdc\x82\xb9\x82\xf1\x81B”
読めるか、これが。
これを日本語の読める形式に変換したいんだけど。
インターネットを探せば、shell コマンドを得意げに紹介しているものばかり。
こちとら、windows 環境で、チットばかり急いでんだぁ！
さくさく変換できるサイトは無いんかい？
—– ありました！
探しあぐねて漸く行き着いたのが次のサイト。
変換したら「指定されたモジュールが見つかりません。」とのこと。
知ったかぶりのコマンドなんかより遥かに役に立つ。
今後も使用させて戴きたいのでメモに残しておこう。
GitHub リポジトリへアップロードします。
アップロードではなく、Commit とか Push と言うのが正しいのかも知れませんが、如何せん GitHub の知識が皆無に近いので不正確な表現にはご容赦ください。
以降は、参考サイトの手順に従い進めていきます。
git add -Aでもよいそうです。
commit が終了すると、次のような画面が表示されるので “close” ボタンを押し閉じてください。
push が終了すると、次のような画面が表示されるので “close” ボタンを押し閉じてください。
以上で、GitHub リポジトリへのアップロードは完了です。
（追記：2019/05/27）
“stage” の処理を強制終了した場合、.git/index.lock が作られ、Sourcetree で当該ディレクトリを開くと次のようなメッセージが表示され commit ができなくなります。
|
1 |
fatal: Unable to create 'C:/path/to/.git/index.lock': File exists. |
|
1 2 3 4 5 |
## CRAN からインストールする場合 install.packages("blogdown") ## GitHub からインストールする場合 if (!requireNamespace("devtools")) install.packages("devtools") devtools::install_github("rstudio/blogdown") |
|
1 |
blogdown::install_hugo() |
|
1 |
blogdown::new_site() |
|
1 2 |
relativeURLs = true publishDir = "docs" |
サイトに必要なファイルを全て./docs* 以下に生成するため、次のコマンドを実行します。
|
1 |
blogdown::build_site() |
今回は、ここで作成されたものをそのままアップロードします！
blogdown を使用するには、空のプロジェクトが必要ですので、新規に作成していきます。
1. RStudio のメニューから「File → New Project」を選択し、表示された “Create Project” の中から、”Version Control” を選択し、次に表示される画面では、バージョンコントローとして Git を選択します。
2. 次の「Clone Git Repository」画面の”Repository URL” の欄に、先ほど作成しコビーした、Git レポジトリのアドレスを貼り付けます。（図 3-3 参照）
最後に、“Create Project” をクリックします。
なお今回は、ディレクトリ “G:\R” の下に、”my_blog” という名前のディレクトリを作成しています。
【前に：blogdownへの道（2）】、【次へ：blogdownへの道（4）】
GitHubでの作業は、これでいったん終了します。
【前に：blogdownへの道（1）】、【次へ：blogdownへの道（3）】
参考サイト：RSTUDIOではグラブれないけど、ブログれる
| 前提条件 | R、RStudio、Git がインストール済み |
| GitHubへのユーザ登録 |
RStudio をインストールしただけでは Git は使えません。
そのため、参考サイトに示した手順の中に、「RStudioでGitHubレポジトリとリンク」の説明がありますが、この手順が実行できません。
まず、次により Git を有効にする必要があります。
ここで、後に必要になるので Git Bash を立ち上げ、次の Git コマンドを実行しておきます。
|
1 2 |
git config --global user.email "you@example.com" git config --global user.name "Your Name" |
インストールした Anaconda 環境下で Pycharm が動作しない。
「Anaconda Prompt と Command Prompt で動作が異なるのは、Path の設定に違いがあるのでは」との推測のもとに、以下により双方の Path 情報をファイルに出力して比較してみた。
|
1 |
echo %PATH% > command_path.txt |
|
1 |
echo %PATH% > anaconda_path.txt |
その結果、Anaconda Prompt 側から得られた Path には、次の 6つが追加されているのが判明した。
|
1 2 3 4 5 6 7 |
C:\Users\（ユーザ名）\Anaconda3; C:\Users\（ユーザ名）\Anaconda3\Library\mingw-w64\bin; C:\Users\（ユーザ名）\Anaconda3\Library\usr\bin; C:\Users\（ユーザ名）\Anaconda3\Library\bin; C:\Users\（ユーザ名）\Anaconda3\Scripts; C:\Users\（ユーザ名）\Anaconda3\bin; C:\Users\（ユーザ名）\Anaconda3\condabin; |
この 6 種のパスを、環境変数の Path に設定し Python を起動したところ問題なく実行できるようになった。
（なお、Anaconda3\Library\usr\bin と Anaconda3\bin は存在しないので指定不要かと思われる。 ）
パソコンを新しくして、悩み続けた１か月。
漸く Pycharm が動くようになった。
目出度し！
R を終了するときに、ワークスペースを “>RData” に保存するかどうかを尋ねられます。
いろいろなサイトを当ってみても、「保存しない」のが一般的なようだ。
しからば、そのダイアログを出さないようにしてしまいましょう。
R console のショートカット→右クリクック→プロパティ
表示されたプロパティの「リンク先」に、図のように “–no-save” を追加する。
RStudio を開き
Menu の “Tools” → “Global Options…” で Options を開き
次の個所を
以下のように変更する。
以上
パソコンも windows 10 になり、どうしてもインストールができなかった Anaconda が使えるようになったので jupyter notebook を起動すると、Edge が起動し”C:Users\ユーザ名” が初期ディレクトリとして開かれる。
これを、Chome で初期ディレクトリとして “G:\python” に変更するため
|
1 |
jupyter notebook --generate-config |
|
1 2 3 4 5 6 7 8 9 |
#（260行目付近） ## The directory to use for notebooks and kernels. c.NotebookApp.notebook_dir = 'G:\\python' #（268行目付近に追加） #c.NotebookApp.open_browser = True import webbrowser webbrowser.register('chrome', None, webbrowser.GenericBrowser('C:\\Program Files (x86)\\Google\\Chrome\\Application\\chrome.exe')) c.NotebookApp.browser = 'chrome' |
これで、「スタートメニュー → Anaconda3(64bit) → Jupyter Notebook」
で起動すると、ブラウザは Chrome になったものの、ディレクトリは依然として元のまま変更されない。
これを、コマンドプロンプトから起動すると、指定通り G ドライブに切り替わっている。
これは、起動コマンドの問題だろうと推測できるので、
「スタートメニュー → Anaconda3(64bit) → Jupyter Notebook」を右クリックし、
「その他 → ファイルの場所を開く」
そのフォルダ内の「Jupyter Notebook ショートカット」を
「右クリック → プロパティ」
でプロパティの「リンク先」を見ると
|
1 |
C:\Users\ユーザ名\Anaconda3\python.exe C:\Users\ユーザ名\Anaconda3\cwp.py C:\Users\ユーザ名\Anaconda3 C:\Users\ユーザ名\Anaconda3\python.exe C:\Users\ユーザ名\Anaconda3\Scripts\jupyter-notebook-script.py "%USERPROFILE%/" |
吃驚するほど長いが、環境変数 “%USERPROFILE%/” が怪しいのでググってみると、これが初期ディレクトリを指定しているものらしい。
一応、バックアップのためリンク先をエディタに張り付けた後、リンク先から直接
“%USERPROFILE%/” 部分を削除。
これで、 “G:\python” が初期ディレクトリとして開かれるようになりました！
スクレイピングの例として、Yahoo からトヨタの株価を取得しグラフを描いてみる。
逐次確認しながら進めるため、Jupyter-notebookを使用する。
１．Yahoo からトヨタ（7203）の株価を取得する
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 |
# -*- coding: utf-8 -*- import urllib.request, urllib.error from bs4 import BeautifulSoup import re # 正規表現 # アクセスするURL url = "https://info.finance.yahoo.co.jp/history/?code=7203.T" # URLにアクセスする 戻り値にはアクセスした結果やHTMLなどが入ったinstanceが帰ってきます instance = urllib.request.urlopen(url) # instanceからHTMLを取り出して、BeautifulSoupで扱えるようにパースします soup = BeautifulSoup(instance, "html.parser") print(soup.title) |
|
1 |
<title>トヨタ自動車(株)【7203】：株式/株価 - Yahoo!ファイナンス</title> |
２．株式のテーブルを取得し、その中の全行(tr)を取出す
|
1 2 3 |
stc_tbl=soup.find('table',class_='boardFin') stc_trs=stc_tbl.find_all('tr') stc_trs |
結果は、次の様なリストになる。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 |
[<tr> <th width="20%">日付</th> <th width="12%">始値</th> <th width="12%">高値</th> <th width="12%">安値</th> <th width="12%">終値</th> <th width="12%">出来高</th> <th width="20%">調整後終値*</th> </tr>, <tr><td>2018年12月11日</td><td>6,800</td><td>6,812</td><td>6,738</td><td>6,745</td><td>6,559,300</td><td>6,745</td></tr>, <tr><td>2018年12月10日</td><td>6,720</td><td>6,839</td><td>6,720</td><td>6,820</td><td>5,380,200</td><td>6,820</td></tr>, ： ] |
３．株価データ用の2次元リストを作成する
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 |
# 数値内のカンマを除去する def trimcom(data): return data.replace(",","") data=[] # データ格納用のリスト for i,stc_tr in enumerate(stc_trs): if i == 0: # 先頭行は見出し stc_ths=stc_tr.find_all('th') th=[] # 列見出し用のリスト for j, stc_th in enumerate(stc_ths): # リストに見出しを格納 th.insert(j, stc_th.string) data.insert(i,th) # data[0] に見出しのリストを格納 else: # 2行目以降は株価データ stc_tds=stc_tr.find_all('td') td=[] # 株価データ用のリスト for j,stc_td in enumerate(stc_tds): # 株価からカンマを除去しリストに格納 td.insert(j, trimcom(stc_td.string)) if j > 0: # 日付以外を整数型に変換 td[j]=int(td[j]) data.insert(i,td) # data[i] に株価データのリストを格納 data |
出力結果の一部を示す
|
1 2 3 4 5 6 |
[['日付', '始値', '高値', '安値', '終値', '出来高', '調整後終値*'], ['2018年12月11日', 6800, 6812, 6738, 6745, 6559300, 6745], ['2018年12月10日', 6720, 6839, 6720, 6820, 5380200, 6820], ['2018年12月7日', 6927, 6939, 6814, 6858, 7562500, 6858], ： ]] |
４．plotly で扱いやすくするため、２次元リストをデータフレームに変換する
|
1 2 3 4 |
import pandas as pd df = pd.DataFrame(data[1:20],columns=data[0]) df |
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 |
import plotly.offline as offline # offline notebook 用 import plotly.graph_objs as go # offline notebook 用 offline.init_notebook_mode() trace0 = go.Scatter( x = df['日付'], y = df['高値'], mode = 'lines+markers', name = '高値' ) trace1 = go.Scatter( x = df['日付'], y = df['安値'], mode = 'lines+markers', name = '安値' ) data = [trace0,trace1] # offline notebook 用 offline.iplot(data,image='png') |
本来であれば「ローソク足」という株価特有のチャートにしたかったのだが
plotlyのものはとても馴染めないものだったので、折れ線グラフで妥協した。