R を終了するときに、ワークスペースを “>RData” に保存するかどうかを尋ねられます。
いろいろなサイトを当ってみても、「保存しない」のが一般的なようだ。
しからば、そのダイアログを出さないようにしてしまいましょう。
R console のショートカット→右クリクック→プロパティ
表示されたプロパティの「リンク先」に、図のように “–no-save” を追加する。
RStudio を開き
Menu の “Tools” → “Global Options…” で Options を開き
次の個所を
以下のように変更する。
以上
パソコンも windows 10 になり、どうしてもインストールができなかった Anaconda が使えるようになったので jupyter notebook を起動すると、Edge が起動し”C:Users\ユーザ名” が初期ディレクトリとして開かれる。
これを、Chome で初期ディレクトリとして “G:\python” に変更するため
|
1 |
jupyter notebook --generate-config |
|
1 2 3 4 5 6 7 8 9 |
#（260行目付近） ## The directory to use for notebooks and kernels. c.NotebookApp.notebook_dir = 'G:\\python' #（268行目付近に追加） #c.NotebookApp.open_browser = True import webbrowser webbrowser.register('chrome', None, webbrowser.GenericBrowser('C:\\Program Files (x86)\\Google\\Chrome\\Application\\chrome.exe')) c.NotebookApp.browser = 'chrome' |
これで、「スタートメニュー → Anaconda3(64bit) → Jupyter Notebook」
で起動すると、ブラウザは Chrome になったものの、ディレクトリは依然として元のまま変更されない。
これを、コマンドプロンプトから起動すると、指定通り G ドライブに切り替わっている。
これは、起動コマンドの問題だろうと推測できるので、
「スタートメニュー → Anaconda3(64bit) → Jupyter Notebook」を右クリックし、
「その他 → ファイルの場所を開く」
そのフォルダ内の「Jupyter Notebook ショートカット」を
「右クリック → プロパティ」
でプロパティの「リンク先」を見ると
|
1 |
C:\Users\ユーザ名\Anaconda3\python.exe C:\Users\ユーザ名\Anaconda3\cwp.py C:\Users\ユーザ名\Anaconda3 C:\Users\ユーザ名\Anaconda3\python.exe C:\Users\ユーザ名\Anaconda3\Scripts\jupyter-notebook-script.py "%USERPROFILE%/" |
吃驚するほど長いが、環境変数 “%USERPROFILE%/” が怪しいのでググってみると、これが初期ディレクトリを指定しているものらしい。
一応、バックアップのためリンク先をエディタに張り付けた後、リンク先から直接
“%USERPROFILE%/” 部分を削除。
これで、 “G:\python” が初期ディレクトリとして開かれるようになりました！
スクレイピングの例として、Yahoo からトヨタの株価を取得しグラフを描いてみる。
逐次確認しながら進めるため、Jupyter-notebookを使用する。
１．Yahoo からトヨタ（7203）の株価を取得する
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 |
# -*- coding: utf-8 -*- import urllib.request, urllib.error from bs4 import BeautifulSoup import re # 正規表現 # アクセスするURL url = "https://info.finance.yahoo.co.jp/history/?code=7203.T" # URLにアクセスする 戻り値にはアクセスした結果やHTMLなどが入ったinstanceが帰ってきます instance = urllib.request.urlopen(url) # instanceからHTMLを取り出して、BeautifulSoupで扱えるようにパースします soup = BeautifulSoup(instance, "html.parser") print(soup.title) |
|
1 |
<title>トヨタ自動車(株)【7203】：株式/株価 - Yahoo!ファイナンス</title> |
２．株式のテーブルを取得し、その中の全行(tr)を取出す
|
1 2 3 |
stc_tbl=soup.find('table',class_='boardFin') stc_trs=stc_tbl.find_all('tr') stc_trs |
結果は、次の様なリストになる。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 |
[<tr> <th width="20%">日付</th> <th width="12%">始値</th> <th width="12%">高値</th> <th width="12%">安値</th> <th width="12%">終値</th> <th width="12%">出来高</th> <th width="20%">調整後終値*</th> </tr>, <tr><td>2018年12月11日</td><td>6,800</td><td>6,812</td><td>6,738</td><td>6,745</td><td>6,559,300</td><td>6,745</td></tr>, <tr><td>2018年12月10日</td><td>6,720</td><td>6,839</td><td>6,720</td><td>6,820</td><td>5,380,200</td><td>6,820</td></tr>, ： ] |
３．株価データ用の2次元リストを作成する
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 |
# 数値内のカンマを除去する def trimcom(data): return data.replace(",","") data=[] # データ格納用のリスト for i,stc_tr in enumerate(stc_trs): if i == 0: # 先頭行は見出し stc_ths=stc_tr.find_all('th') th=[] # 列見出し用のリスト for j, stc_th in enumerate(stc_ths): # リストに見出しを格納 th.insert(j, stc_th.string) data.insert(i,th) # data[0] に見出しのリストを格納 else: # 2行目以降は株価データ stc_tds=stc_tr.find_all('td') td=[] # 株価データ用のリスト for j,stc_td in enumerate(stc_tds): # 株価からカンマを除去しリストに格納 td.insert(j, trimcom(stc_td.string)) if j > 0: # 日付以外を整数型に変換 td[j]=int(td[j]) data.insert(i,td) # data[i] に株価データのリストを格納 data |
出力結果の一部を示す
|
1 2 3 4 5 6 |
[['日付', '始値', '高値', '安値', '終値', '出来高', '調整後終値*'], ['2018年12月11日', 6800, 6812, 6738, 6745, 6559300, 6745], ['2018年12月10日', 6720, 6839, 6720, 6820, 5380200, 6820], ['2018年12月7日', 6927, 6939, 6814, 6858, 7562500, 6858], ： ]] |
４．plotly で扱いやすくするため、２次元リストをデータフレームに変換する
|
1 2 3 4 |
import pandas as pd df = pd.DataFrame(data[1:20],columns=data[0]) df |
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 |
import plotly.offline as offline # offline notebook 用 import plotly.graph_objs as go # offline notebook 用 offline.init_notebook_mode() trace0 = go.Scatter( x = df['日付'], y = df['高値'], mode = 'lines+markers', name = '高値' ) trace1 = go.Scatter( x = df['日付'], y = df['安値'], mode = 'lines+markers', name = '安値' ) data = [trace0,trace1] # offline notebook 用 offline.iplot(data,image='png') |
本来であれば「ローソク足」という株価特有のチャートにしたかったのだが
plotlyのものはとても馴染めないものだったので、折れ線グラフで妥協した。
pip で geopandas のインストールが出来なかった。
同じ問題で悩んでいる方の福音となればとの想いで書留めたメモです。
当方の環境
Visual c++ をインストールし、ググって調べたあらゆる方法を試みるも、パッケージの依存関係の所為か全て失敗に終わる。
そんな時に見つけたのが、Windows バイナリを入手してのインストール方法。
配布元：Unofficial Windows Binaries for Python Extension Packages
このサイトから、geopandas‑0.4.0‑py2.py3‑none‑any.whl を探しダウンロード。
（C:\Users\ユーザー名\Downloads にダウンロードしたものとする。）
次に
|
1 |
C:\Users\ユーザー名\Downloads> python -m pip install geopandas‑0.4.0‑py2.py3‑none‑any.whl |
として、pip の実行。
悩みに悩んだ geopandas のインストールが、実に簡単に success！
ぬか喜びに終わらないよう、その動作確認を
|
1 2 3 4 5 6 7 8 9 10 11 |
import plotly.offline as py import plotly.figure_factory as ff fips = ['06021', '06023', '06027', '06029', '06033', '06059', '06047', '06049', '06051', '06055', '06061'] values = range(len(fips)) fig = ff.create_choropleth(fips=fips, values=values) py.plot(fig, filename='simple-example.html', include_plotlyjs='cdn') |
既定のブラウザが起動し、地図が表示されて OK！。
なお、上を実行すると次のようなワーニングが出るが、無視して構わないらしい。
|
1 2 3 4 5 6 7 8 |
C:\python\lib\site-packages\pandas\core\frame.py:6211: FutureWarning: Sorting because non-concatenation axis is not aligned. A future version of pandas will change to not sort by default. To accept the future behavior, pass 'sort=False'. To retain the current behavior and silence the warning, pass 'sort=True'. |
このところ、ウィルスバスターが原因でPC起動時にapacheが立ち上がらない。
仕方ないので、「ウィルスバスター停止→xampp-controlからapache起動→ウィルスバスター再起動」を毎日繰り返している。
原因がはっきりしているので、こちらはトレンドマイクロに問合せ中であるが回答がない。
今朝方は、これに加え「PID 4」がポート80を使用してとのことで、上の手順でも起動せず。
インターネットをググって何とか対策ができたので、その手順を残して置く。
ポート80を使用しているPIDを特定する
|
1 |
netstat -nao | findstr 0.0.0:80 |
ポート80をListenしているPIDからイメージ名（タスク名）を調べる
|
1 2 3 4 5 |
tasklist | findstr PID # 上のPID（数値）を指定 # または tasklist /svc | findstr PID |
（2019/1/8 追記）
原因は、PID 4 System が port 80 を使用しているのが原因であった。
System 自体は停止できないので、その中でどのサービスが port 80 を使用しているかを特定する必要がある。
Opening Up Port 80 For Apache to Use On Windowsにその一覧が有るので、一つ一つサービスを確認する。
今回の原因は「Web Deployment Agent Service」（参考サイト(1)に同じ）。
このサービスが、何故起動するようになったかは不明ではあるものの、これまで使っていなかったので停止しても問題はなかろうとの判断の元、これを停止することにする。
「スタート→管理ツール→サービス」として、表示されたサービスの中から一致する名前を探し、それをダブルクリックして次のように設定する
。
(1)スターアップの種類→「手動」
(2)サービスの状態→「停止」
その後、apacheの起動。
(1)Windows7でApacheが起動しない
(2)WebMatrix とポート80 の関係を断つ方法
(3)netstatでリッスンしているプロセスを特定する
(4)Windows で Port 80 を使っている PID 4 ってナニヤツ
Plotlyオンラインプロットは素晴らしいのだが、無償の範囲で使用するとなると、登録できるプロット数が25迄なので、いろいろ試すにはちょっと少ない。
これが、商売なら$420/年程度なら高いとは思わないが、如何せん単なるお勉強程度の私にはやや高価過ぎ。
そこで、どうしても必要になるのがオフラインでの使用。
詳細については、こちらのページの中段よりやや下の「Initialization for Offline Plotting」に説明が記載されているが、自分用にまとめておく。
オフライン・プロットを行うためのメソッドが2つある。
|
1 2 3 4 5 6 7 |
import plotly import plotly.graph_objs as go plotly.offline.plot({ "data": [go.Scatter(x=[1, 2, 3, 4], y=[4, 3, 2, 1])], "layout": go.Layout(title="hello world") }, auto_open=True) |
これを実行すると、ソースを作成したフォルダに “temp-plot.html” が作成され、既定のブラウザにプロットが表示される。
ファイル名を指定する場合は、filename で指定する。
|
1 2 3 4 5 6 7 |
import plotly import plotly.graph_objs as go plotly.offline.plot({ "data": [go.Scatter(x=[1,2,3,4], y=[4,3,2,1])], "layout": go.Layout(title="hello world") }, auto_open=True, filename="sample01.html") |
指定せずに、実行すると”temp-plot.html”となり、既に同名のファイルが存在する場合は上書きされる。
この場合、nootbook セッション内で次のステップを実行する必要がある。
|
1 |
plotly.offline.init_notebook_mode() |
使用例を以下に示す。
|
1 2 3 4 5 6 7 8 9 |
import plotly import plotly.graph_objs as go plotly.offline.init_notebook_mode(connected=True) plotly.offline.iplot({ "data": [go.Scatter(x=[1, 2, 3, 4], y=[4, 3, 2, 1])], "layout": go.Layout(title="hello world") }) |
是さえ押さえておけば、Plotlyを心置きなく自由に使用できるはず！！
anaconda のインストールはもう諦めた。
暫くは、anaconda のpythonをイジッていたのだが
或る時から、動作が遅くてどうにもならない。
再インストールしようとアンインストールしたのが
ケチの付けはじめ。
最新版をダウンロードして、意気揚々インストールを
試みるも、最後の最後でERROR！
こんなんで、エラー内容が分かるか？
色々ググって対策を試みるも全て×（ダメ）
その都度、何度アンインストールとインストールを繰返したことか！
パソコンの調子までおかしくなってしまう程。
海外のサイトも含め調べたが、同様に悩んでいる人が多数いるものの
これといった対策は皆無。
やりたいことが有るので、これ以上コイツに関わるのはやめた。
もう選択肢は、python の単独インストール一択のみ。
必要なものは、一つずつインストールしていくしかない。
まず、jupyter だけは必要なので、個別にインストール。
これだけで、私的には anaconda と同じ様な環境に！
と言うか、返ってストレスなくサクサクと動く想定を超えた環境。
パッケージの管理も、”pip”で十分。
Numpy、Scipy、pandas ・・・ 問題なくインストールできている。
Anaconda よ、さらば！
tibble とは、tbl_df クラスが付与された改良版の data.frame のことで、これを表示した場合、各変数（列）のデータ型が表示されたり、1 画面に収まるようデータが見易く編集された形式で出力されます。
data.frame よりは、処理速度の面でも優れているとのことなので tibble を使ってみたが、平均値を出力すると次のように数値が丸められて小数点以下が表示されない。
|
1 2 3 4 5 6 |
> m_tbl # A tibble: 1 x 2 aaの平均 bbの平均 <dbl> <dbl> 1 5831. 4802. |
本来の数値は、次の通りであるべきですが・・・
|
1 2 3 4 |
> print.data.frame(m_tbl) aaの平均 bbの平均 1 5831.247 4801.974 |
こうなってしまうのは、tibble の使用する pillar というパッケージが有効数字や欠損値などの表示形式を勝手にイジってしまうためとのことです（詳しくは、こちらを参照）。
見易さを重視するため、数値の有効桁数がデフォルトで 3 に設定されており、それを超える数値は小数点以下の桁が丸められてしまうようです。
それを示すのが下の事例です。
|
1 2 3 4 5 6 7 8 9 10 |
library(pillar) x <- 123456789 * (10 ^ c(-3, -5, NA, -8, -10)) pillar(x) > <dbl> >123457. # 小数点第1位が四捨五入されている > 1235. # 小数点第1位が四捨五入されている > NA > 1.23 # 小数点第3位が四捨五入されている > 0.0123 # 小数点第5位が四捨五入されている |
これではちょっと困るので、デフォルトの有効桁を変更します。この変更には、options を使用します。
|
1 2 3 4 5 6 7 8 9 10 |
# 項目の表示幅を10ケタに options(pillar.sigfig = 10) x <- 123456789 * (10 ^ c(-3, -5, NA, -8, -10)) pillar(x) > <dbl> > 1.234567890e+5 > 1.234567890e+3 >NA > 1.234567890e+0 > 1.234567890e-2 |
または、標準の print.data.frame()（上の例を参照） や print.data.table() を使うこともできます。また、print.tbl_df() 関数を上書きすることも可能で、次の様な設定を .Rprofile にしておけば print.data.table()（または print.data.frame()）がデフォルトで使用されるようになります。
|
1 2 3 |
# ~/.Rprofile assign("print.tbl_df", data.table:::print.data.table, envir = .GlobalEnv) #assign("print.tbl_df", print.data.frame, envir = .GlobalEnv) |
tibble を使用する場合は、表示された数値にくれぐれも注意してください！！
色々な単語が出てくるので、整理しておく。
| 用語 | 内容 |
|---|---|
| diagrammeR | R におけるグラフ（Graphviz)描画のためのパッケージ |
| grViz | diagrammeR のグラフ描画用の関数。Graphvizにはない @@ 等の機能が追加されている。 |
| Graphviz | グラフ描画の本家本元。 |
| dot | グラフ記述用の言語。dot 自体は有向グラフ描画用。他に無向グラフ用に NEATO などもある。 |
| viz.js | JavaScrit 用のライブラリ。 |
| full.render.js | JavaScrit 用のライブラリ。V 2.0 より前はviz.jsだけをインクルードするだけだったが、V 2.0 からはこのライブラリもインクルードしなければならない。 |
前置きはさておき、ここでは「Viz.js」の使用方法を例を持って示していきます。
GitHubから、
をダウンロードして、好みの場所に配置します。
viz-examplesのscript-tagをクリックしてディレクトリを開き、その中のno-worker.htmlを開らいてソースコードをコピーします。それを、テキストエディタに貼付け、保存します。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 |
<!DOCTYPE html> <html> <head> <meta charset="utf-8"> </head> <body> <script src="../js/viz.js"></script> <script src="../js/full.render.js"></script> <script> var viz = new Viz(); viz.renderSVGElement('digraph { a -> b; }') .then(function(element) { document.body.appendChild(element); }); </script> </body> </html> |
グラフ記述部分（以下「Dot」）「digraph { a -> b; }」を外出しにします。
|
1 2 3 4 5 6 |
var viz = new Viz(); var dot = 'digraph { a -> b; }'; // (1) viz.renderSVGElement(dot) .then(function(element) { document.body.appendChild(element); }); |
|
1 2 3 |
var dot = 'digraph { a -> b; }'; |
複雑な Dot を記述する時に、改行やタブが使えないようでは話になりません。
そこで、新たな改善策。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 |
<!DOCTYPE html> <html> <head> <meta charset="utf-8"> </head> <body> <script src="../js/viz.js"></script> <script src="../js/full.render.js"></script> <script type="text/vnd.graphviz" id="dot"> digraph { a -> b; } </script> <script> var viz = new Viz(); var dot = document.getElementById("dot").innerHTML; viz.renderSVGElement(dot) .then(function(element) { document.body.appendChild(element); }); </script> </body> </html> |
script タグ内に Dot を単独で定義するようにしました。
それを HTML ソースとして入力すれば、改行や余分なスペースが無視されることを利用しています。
これで、Dot 内でも改行が使用できるようになりました。
ここまで来ると、Dot を外部ファイルにしたくなるのは当然の成り行き。
ついでに、jQuery と Bootstrap も導入し DOM の操作や style の改善をしておきましょう。
|
1 2 3 |
digraph { a -> b; } |
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 |
<!DOCTYPE html> <html> <head> <meta charset="utf-8"> <script src="../js/viz.js"></script> <script src="../js/full.render.js"></script> <link rel="stylesheet" href="http://maxcdn.bootstrapcdn.com/bootstrap/3.3.5/css/bootstrap.min.css"> <script src="https://ajax.googleapis.com/ajax/libs/jquery/2.2.4/jquery.min.js"></script> <script src="http://maxcdn.bootstrapcdn.com/bootstrap/3.3.5/js/bootstrap.min.js"></script> <script> $(function(){ var viz = new Viz(); $.get("sample.dot",function(dot){ console.log(dot); viz.renderSVGElement(dot) .then(function(element) { $("#svgout").append(element); }); }); }); </script> </head> <body> <div class="container"> <h1>Viz.js Sample</h1> <div id="svgout"></div> </div> </body> </html> |