技術的なメモ
R を終了するときに、ワークスペースを “>RData” に保存するかどうかを尋ねられます。
いろいろなサイトを当ってみても、「保存しない」のが一般的なようだ。
しからば、そのダイアログを出さないようにしてしまいましょう。
R console のショートカット→右クリクック→プロパティ
表示されたプロパティの「リンク先」に、図のように “–no-save” を追加する。
RStudio を開き
Menu の “Tools” → “Global Options…” で Options を開き
次の個所を
以下のように変更する。
以上
パソコンも windows 10 になり、どうしてもインストールができなかった Anaconda が使えるようになったので jupyter notebook を起動すると、Edge が起動し”C:Users\ユーザ名” が初期ディレクトリとして開かれる。
これを、Chome で初期ディレクトリとして “G:\python” に変更するため
|
1 |
jupyter notebook --generate-config |
|
1 2 3 4 5 6 7 8 9 |
#（260行目付近） ## The directory to use for notebooks and kernels. c.NotebookApp.notebook_dir = 'G:\\python' #（268行目付近に追加） #c.NotebookApp.open_browser = True import webbrowser webbrowser.register('chrome', None, webbrowser.GenericBrowser('C:\\Program Files (x86)\\Google\\Chrome\\Application\\chrome.exe')) c.NotebookApp.browser = 'chrome' |
これで、「スタートメニュー → Anaconda3(64bit) → Jupyter Notebook」
で起動すると、ブラウザは Chrome になったものの、ディレクトリは依然として元のまま変更されない。
これを、コマンドプロンプトから起動すると、指定通り G ドライブに切り替わっている。
これは、起動コマンドの問題だろうと推測できるので、
「スタートメニュー → Anaconda3(64bit) → Jupyter Notebook」を右クリックし、
「その他 → ファイルの場所を開く」
そのフォルダ内の「Jupyter Notebook ショートカット」を
「右クリック → プロパティ」
でプロパティの「リンク先」を見ると
|
1 |
C:\Users\ユーザ名\Anaconda3\python.exe C:\Users\ユーザ名\Anaconda3\cwp.py C:\Users\ユーザ名\Anaconda3 C:\Users\ユーザ名\Anaconda3\python.exe C:\Users\ユーザ名\Anaconda3\Scripts\jupyter-notebook-script.py "%USERPROFILE%/" |
吃驚するほど長いが、環境変数 “%USERPROFILE%/” が怪しいのでググってみると、これが初期ディレクトリを指定しているものらしい。
一応、バックアップのためリンク先をエディタに張り付けた後、リンク先から直接
“%USERPROFILE%/” 部分を削除。
これで、 “G:\python” が初期ディレクトリとして開かれるようになりました！
スクレイピングの例として、Yahoo からトヨタの株価を取得しグラフを描いてみる。
逐次確認しながら進めるため、Jupyter-notebookを使用する。
１．Yahoo からトヨタ（7203）の株価を取得する
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 |
# -*- coding: utf-8 -*- import urllib.request, urllib.error from bs4 import BeautifulSoup import re # 正規表現 # アクセスするURL url = "https://info.finance.yahoo.co.jp/history/?code=7203.T" # URLにアクセスする 戻り値にはアクセスした結果やHTMLなどが入ったinstanceが帰ってきます instance = urllib.request.urlopen(url) # instanceからHTMLを取り出して、BeautifulSoupで扱えるようにパースします soup = BeautifulSoup(instance, "html.parser") print(soup.title) |
|
1 |
<title>トヨタ自動車(株)【7203】：株式/株価 - Yahoo!ファイナンス</title> |
２．株式のテーブルを取得し、その中の全行(tr)を取出す
|
1 2 3 |
stc_tbl=soup.find('table',class_='boardFin') stc_trs=stc_tbl.find_all('tr') stc_trs |
結果は、次の様なリストになる。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 |
[<tr> <th width="20%">日付</th> <th width="12%">始値</th> <th width="12%">高値</th> <th width="12%">安値</th> <th width="12%">終値</th> <th width="12%">出来高</th> <th width="20%">調整後終値*</th> </tr>, <tr><td>2018年12月11日</td><td>6,800</td><td>6,812</td><td>6,738</td><td>6,745</td><td>6,559,300</td><td>6,745</td></tr>, <tr><td>2018年12月10日</td><td>6,720</td><td>6,839</td><td>6,720</td><td>6,820</td><td>5,380,200</td><td>6,820</td></tr>, ： ] |
３．株価データ用の2次元リストを作成する
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 |
# 数値内のカンマを除去する def trimcom(data): return data.replace(",","") data=[] # データ格納用のリスト for i,stc_tr in enumerate(stc_trs): if i == 0: # 先頭行は見出し stc_ths=stc_tr.find_all('th') th=[] # 列見出し用のリスト for j, stc_th in enumerate(stc_ths): # リストに見出しを格納 th.insert(j, stc_th.string) data.insert(i,th) # data[0] に見出しのリストを格納 else: # 2行目以降は株価データ stc_tds=stc_tr.find_all('td') td=[] # 株価データ用のリスト for j,stc_td in enumerate(stc_tds): # 株価からカンマを除去しリストに格納 td.insert(j, trimcom(stc_td.string)) if j > 0: # 日付以外を整数型に変換 td[j]=int(td[j]) data.insert(i,td) # data[i] に株価データのリストを格納 data |
出力結果の一部を示す
|
1 2 3 4 5 6 |
[['日付', '始値', '高値', '安値', '終値', '出来高', '調整後終値*'], ['2018年12月11日', 6800, 6812, 6738, 6745, 6559300, 6745], ['2018年12月10日', 6720, 6839, 6720, 6820, 5380200, 6820], ['2018年12月7日', 6927, 6939, 6814, 6858, 7562500, 6858], ： ]] |
４．plotly で扱いやすくするため、２次元リストをデータフレームに変換する
|
1 2 3 4 |
import pandas as pd df = pd.DataFrame(data[1:20],columns=data[0]) df |
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 |
import plotly.offline as offline # offline notebook 用 import plotly.graph_objs as go # offline notebook 用 offline.init_notebook_mode() trace0 = go.Scatter( x = df['日付'], y = df['高値'], mode = 'lines+markers', name = '高値' ) trace1 = go.Scatter( x = df['日付'], y = df['安値'], mode = 'lines+markers', name = '安値' ) data = [trace0,trace1] # offline notebook 用 offline.iplot(data,image='png') |
本来であれば「ローソク足」という株価特有のチャートにしたかったのだが
plotlyのものはとても馴染めないものだったので、折れ線グラフで妥協した。
pip で geopandas のインストールが出来なかった。
同じ問題で悩んでいる方の福音となればとの想いで書留めたメモです。
当方の環境
Visual c++ をインストールし、ググって調べたあらゆる方法を試みるも、パッケージの依存関係の所為か全て失敗に終わる。
そんな時に見つけたのが、Windows バイナリを入手してのインストール方法。
配布元：Unofficial Windows Binaries for Python Extension Packages
このサイトから、geopandas‑0.4.0‑py2.py3‑none‑any.whl を探しダウンロード。
（C:\Users\ユーザー名\Downloads にダウンロードしたものとする。）
次に
|
1 |
C:\Users\ユーザー名\Downloads> python -m pip install geopandas‑0.4.0‑py2.py3‑none‑any.whl |
として、pip の実行。
悩みに悩んだ geopandas のインストールが、実に簡単に success！
ぬか喜びに終わらないよう、その動作確認を
|
1 2 3 4 5 6 7 8 9 10 11 |
import plotly.offline as py import plotly.figure_factory as ff fips = ['06021', '06023', '06027', '06029', '06033', '06059', '06047', '06049', '06051', '06055', '06061'] values = range(len(fips)) fig = ff.create_choropleth(fips=fips, values=values) py.plot(fig, filename='simple-example.html', include_plotlyjs='cdn') |
既定のブラウザが起動し、地図が表示されて OK！。
なお、上を実行すると次のようなワーニングが出るが、無視して構わないらしい。
|
1 2 3 4 5 6 7 8 |
C:\python\lib\site-packages\pandas\core\frame.py:6211: FutureWarning: Sorting because non-concatenation axis is not aligned. A future version of pandas will change to not sort by default. To accept the future behavior, pass 'sort=False'. To retain the current behavior and silence the warning, pass 'sort=True'. |
このところ、ウィルスバスターが原因でPC起動時にapacheが立ち上がらない。
仕方ないので、「ウィルスバスター停止→xampp-controlからapache起動→ウィルスバスター再起動」を毎日繰り返している。
原因がはっきりしているので、こちらはトレンドマイクロに問合せ中であるが回答がない。
今朝方は、これに加え「PID 4」がポート80を使用してとのことで、上の手順でも起動せず。
インターネットをググって何とか対策ができたので、その手順を残して置く。
ポート80を使用しているPIDを特定する
|
1 |
netstat -nao | findstr 0.0.0:80 |
ポート80をListenしているPIDからイメージ名（タスク名）を調べる
|
1 2 3 4 5 |
tasklist | findstr PID # 上のPID（数値）を指定 # または tasklist /svc | findstr PID |
（2019/1/8 追記）
原因は、PID 4 System が port 80 を使用しているのが原因であった。
System 自体は停止できないので、その中でどのサービスが port 80 を使用しているかを特定する必要がある。
Opening Up Port 80 For Apache to Use On Windowsにその一覧が有るので、一つ一つサービスを確認する。
今回の原因は「Web Deployment Agent Service」（参考サイト(1)に同じ）。
このサービスが、何故起動するようになったかは不明ではあるものの、これまで使っていなかったので停止しても問題はなかろうとの判断の元、これを停止することにする。
「スタート→管理ツール→サービス」として、表示されたサービスの中から一致する名前を探し、それをダブルクリックして次のように設定する
。
(1)スターアップの種類→「手動」
(2)サービスの状態→「停止」
その後、apacheの起動。
(1)Windows7でApacheが起動しない
(2)WebMatrix とポート80 の関係を断つ方法
(3)netstatでリッスンしているプロセスを特定する
(4)Windows で Port 80 を使っている PID 4 ってナニヤツ
Plotlyオンラインプロットは素晴らしいのだが、無償の範囲で使用するとなると、登録できるプロット数が25迄なので、いろいろ試すにはちょっと少ない。
これが、商売なら$420/年程度なら高いとは思わないが、如何せん単なるお勉強程度の私にはやや高価過ぎ。
そこで、どうしても必要になるのがオフラインでの使用。
詳細については、こちらのページの中段よりやや下の「Initialization for Offline Plotting」に説明が記載されているが、自分用にまとめておく。
オフライン・プロットを行うためのメソッドが2つある。
|
1 2 3 4 5 6 7 |
import plotly import plotly.graph_objs as go plotly.offline.plot({ "data": [go.Scatter(x=[1, 2, 3, 4], y=[4, 3, 2, 1])], "layout": go.Layout(title="hello world") }, auto_open=True) |
これを実行すると、ソースを作成したフォルダに “temp-plot.html” が作成され、既定のブラウザにプロットが表示される。
ファイル名を指定する場合は、filename で指定する。
|
1 2 3 4 5 6 7 |
import plotly import plotly.graph_objs as go plotly.offline.plot({ "data": [go.Scatter(x=[1,2,3,4], y=[4,3,2,1])], "layout": go.Layout(title="hello world") }, auto_open=True, filename="sample01.html") |
指定せずに、実行すると”temp-plot.html”となり、既に同名のファイルが存在する場合は上書きされる。
この場合、nootbook セッション内で次のステップを実行する必要がある。
|
1 |
plotly.offline.init_notebook_mode() |
使用例を以下に示す。
|
1 2 3 4 5 6 7 8 9 |
import plotly import plotly.graph_objs as go plotly.offline.init_notebook_mode(connected=True) plotly.offline.iplot({ "data": [go.Scatter(x=[1, 2, 3, 4], y=[4, 3, 2, 1])], "layout": go.Layout(title="hello world") }) |
是さえ押さえておけば、Plotlyを心置きなく自由に使用できるはず！！
anaconda のインストールはもう諦めた。
暫くは、anaconda のpythonをイジッていたのだが
或る時から、動作が遅くてどうにもならない。
再インストールしようとアンインストールしたのが
ケチの付けはじめ。
最新版をダウンロードして、意気揚々インストールを
試みるも、最後の最後でERROR！
こんなんで、エラー内容が分かるか？
色々ググって対策を試みるも全て×（ダメ）
その都度、何度アンインストールとインストールを繰返したことか！
パソコンの調子までおかしくなってしまう程。
海外のサイトも含め調べたが、同様に悩んでいる人が多数いるものの
これといった対策は皆無。
やりたいことが有るので、これ以上コイツに関わるのはやめた。
もう選択肢は、python の単独インストール一択のみ。
必要なものは、一つずつインストールしていくしかない。
まず、jupyter だけは必要なので、個別にインストール。
これだけで、私的には anaconda と同じ様な環境に！
と言うか、返ってストレスなくサクサクと動く想定を超えた環境。
パッケージの管理も、”pip”で十分。
Numpy、Scipy、pandas ・・・ 問題なくインストールできている。
Anaconda よ、さらば！
tibble とは、tbl_df クラスが付与された改良版の data.frame のことで、これを表示した場合、各変数（列）のデータ型が表示されたり、1 画面に収まるようデータが見易く編集された形式で出力されます。
data.frame よりは、処理速度の面でも優れているとのことなので tibble を使ってみたが、平均値を出力すると次のように数値が丸められて小数点以下が表示されない。
|
1 2 3 4 5 6 |
> m_tbl # A tibble: 1 x 2 aaの平均 bbの平均 <dbl> <dbl> 1 5831. 4802. |
本来の数値は、次の通りであるべきですが・・・
|
1 2 3 4 |
> print.data.frame(m_tbl) aaの平均 bbの平均 1 5831.247 4801.974 |
こうなってしまうのは、tibble の使用する pillar というパッケージが有効数字や欠損値などの表示形式を勝手にイジってしまうためとのことです（詳しくは、こちらを参照）。
見易さを重視するため、数値の有効桁数がデフォルトで 3 に設定されており、それを超える数値は小数点以下の桁が丸められてしまうようです。
それを示すのが下の事例です。
|
1 2 3 4 5 6 7 8 9 10 |
library(pillar) x <- 123456789 * (10 ^ c(-3, -5, NA, -8, -10)) pillar(x) > <dbl> >123457. # 小数点第1位が四捨五入されている > 1235. # 小数点第1位が四捨五入されている > NA > 1.23 # 小数点第3位が四捨五入されている > 0.0123 # 小数点第5位が四捨五入されている |
これではちょっと困るので、デフォルトの有効桁を変更します。この変更には、options を使用します。
|
1 2 3 4 5 6 7 8 9 10 |
# 項目の表示幅を10ケタに options(pillar.sigfig = 10) x <- 123456789 * (10 ^ c(-3, -5, NA, -8, -10)) pillar(x) > <dbl> > 1.234567890e+5 > 1.234567890e+3 >NA > 1.234567890e+0 > 1.234567890e-2 |
または、標準の print.data.frame()（上の例を参照） や print.data.table() を使うこともできます。また、print.tbl_df() 関数を上書きすることも可能で、次の様な設定を .Rprofile にしておけば print.data.table()（または print.data.frame()）がデフォルトで使用されるようになります。
|
1 2 3 |
# ~/.Rprofile assign("print.tbl_df", data.table:::print.data.table, envir = .GlobalEnv) #assign("print.tbl_df", print.data.frame, envir = .GlobalEnv) |
tibble を使用する場合は、表示された数値にくれぐれも注意してください！！
Graphvizがwordpressでも使えるらしいのでテストしてみます。プラグインには「TFO Graphviz」を使用します。
|
1 2 3 |
[graphviz simple="yes" href="self"] a -> b -> c; [/graphviz] |
ショートコードの一般形式は次の通り。
|
1 2 3 |
[graphviz <options>] <DOT code> [/graphviz] |
| options | 説明 | ||||
|---|---|---|---|---|---|
| height=”<image_height>” | イメージタグに height 属性を設定する。SVG に有効 | ||||
| href=”self|<URL>” | 画像をクリックした時に表示する URL を指定する。デフォルト：href=””、self：同じウィンドウ、<URL：指定のURL | ||||
| id=”<id>” | 生成された画像をイメージマップにリンクするために使用する識別子を指定する。これを指定しない場合は、”tfo_graphviz_N”（N:1からの連番）が自動生成される。 | ||||
| imap=”yes|no” | |||||
| imap=”yes|no” | |||||
| lang=”<dot|neato|twopi|circo|fdp>” | 使用する Graphviz インタープリタを指定する。デフォルトは dot | ||||
| output=”<png|gif|jpg|svg>” | 生成する画像フォーマットを指定する。デフォルトは png | ||||
| simple=”yes|no” | コードの周りに非常に基本的な DOT ラッパーが適用される。
|
||||
| title=”<title>” | 画像のタイトル。画像を参照するための alt および title 属性で使用する | ||||
| width=”<image_width>” | イメージタグに width 属性を設定する。 |
| 項目 | 内容 |
|---|---|
| OS | windows7 |
| R | 3.5.0 |
| knitr | 1.20 |
| RStudio | 1.1.453 |
| TeXディストリ | w32Tex 角藤版 |
RStudioで、新規R Markdownを選択した時に作成される雛形文書そのもの。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 |
--- title: "Diamond Size" author: "Hogehuga" date: "2018年7月12日" output: pdf_document --- ```{r setup, include=FALSE} knitr::opts_chunk$set(echo = TRUE) ``` ## R Markdown This is an R Markdown document. Markdown is a simple formatting syntax for authoring HTML, PDF, and MS Word documents. For more details on using R Markdown see <http://rmarkdown.rstudio.com>. When you click the **Knit** button a document will be generated that includes both content as well as the output of any embedded R code chunks within the document. You can embed an R code chunk like this: ```{r cars} summary(cars) ``` ## Including Plots You can also embed plots, for example: ```{r pressure, echo=FALSE} plot(pressure) ``` Note that the `echo = FALSE` parameter was added to the code chunk to prevent printing of the R code that generated the plot. |
このまま実行した時の結果。
! Package inputenc Error: Unicode char 蟷ｴ (U+5E74)
(inputenc) not set up for use with LaTeX.
エラー: Failed to compile 雛形Rmd.tex. See 雛形Rmd.log for more info.
実行が停止されました
どうやら、日本語（Unicode）処理ができないらしい。
PDF文書を指定すると、デフォルトのTexとして
(1) windows : MikTex
(2) OSX : MacTex
(3) Linux : TeX Live
のエンジンが使用されるため。
TeX Wikiによれば、
「MiKTeX は Microsoft Windwos 向けの TeX のディストリビューションです． TeX Live と並んで国際的に広く使われていますが，日本語 pTeX が含まれていません． 特別な理由がない限り TeX Live または W32TeX の利用をおすすめします．」
とのこと。
YAMLヘッダーに明示的に、latex_engine として、UTF-8 ベースの TeX を指定する必要があるようです。
|
1 2 3 |
output: pdf_document: latex_engine: xelatex |
文書全体を以下に示します。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 |
--- title: "Diamond Size" author: "Hogehuga" date: "2018年7月12日" output: pdf_document: latex_engine: xelatex --- ```{r setup, include=FALSE} knitr::opts_chunk$set(echo = TRUE) ``` ## R Markdown This is an R Markdown document. Markdown is a simple formatting syntax for authoring HTML, PDF, and MS Word documents. For more details on using R Markdown see <http://rmarkdown.rstudio.com>. When you click the **Knit** button a document will be generated that includes both content as well as the output of any embedded R code chunks within the document. You can embed an R code chunk like this: ```{r cars} summary(cars) ``` ## Including Plots You can also embed plots, for example: ```{r pressure, echo=FALSE} plot(pressure) ``` Note that the `echo = FALSE` parameter was added to the code chunk to prevent printing of the R code that generated the plot. |
Rmdファイルに日本語名を使用したら、見事にコケました
windows上では、日本語のファイル名は使用できないようですので注意してください。
（追）
Linux(Ubuntu18.04)では、日本語ファイル名が問題なく使用できました。
再テストの結果、上記のR Markdown が一切動作しなくなりました。
Windows 上も Virtual Box の Ubuntu 上でも！
思い当たる点は、
(1) windows – 角藤版を最新にしようとインストーラを起動したこと。結果的には、何もせずキャンセルしたのだが・・・・
(2) Ubuntu – Tex Live のtlmgr が動かないので、その周りの更新等を行ったこと。
一旦、w32Tex(Windows)とTexLive(Ubuntu)を削除し、w32Texは再インストールした。
（Tex Live の再インストールは保留中）
それでも、結果は変わらず。
エラーログからは、エラー内容が全く読み取れず、対策の打ちようがない。
思い悩んだ挙句、思いついたのが「latex_engine」の変更。
「TeXworks」のタイプセットに表示されるものを指定してみよう！
① pdfplatex
指定不可。指定できるのは、pdflatex,lualatex,xelatex の何れかとのこと。
② pdflatex
しからばと、これを指定するも、想定通り Unicode 周りでエラー。
③ lualatex
万歳！問題なくPDFが出力される。
④ xelatex
念のために試してみたが、やはりエラーとなる。
結果として、私の現在の環境では「lualatex」を指定すれば良いようです。
注意
YAMLヘッダに「mainfont」を指定しないと、日本語が表示されないので、次の様に指定する必要があります。
|
1 2 3 4 5 6 7 8 9 |
--- title: "Diamond Size" author: "Hogehuga" date: "2018年7月12日" output: pdf_document: latex_engine: lualatex mainfont: Meiryo --- |
なお、「Meiryo」の部分を「メイリオ」と指定することができませんでしたので、ご注意の程を！
