団塊世代の黄昏 – ページ 2 – 私が作成したものやブログのフロントページです。

blogdownへの道（4）

ローカル web サイトの作成

blogdown パッケージのインストール
CRAN と GitHub から、次によりインストールできます。

## CRAN からインストールする場合
install.packages("blogdown")
## GitHub からインストールする場合
if (!requireNamespace("devtools")) install.packages("devtools")
devtools::install_github("rstudio/blogdown")

## CRAN からインストールする場合

install.packages("blogdown")

## GitHub からインストールする場合

if (!requireNamespace("devtools")) install.packages("devtools")

devtools::install_github("rstudio/blogdown")

Hugo のインストール
blogdown のヘルパー関数を使用します。

Hugo のインストール
Shell

blogdown::install_hugo()

1

blogdown::install_hugo()
次により、プロジェクトへ新規 web を作成します。

新規 web サイトの作成
Shell

blogdown::new_site()

1

blogdown::new_site()
暫く待つと、多数のファイルが作られ、RStudio の Viewer に次のよう web 画面が表示されます。

図 4-1 web 画面
（追加：2019/05/27）
config.toml に、次の設定を確認し、未設定なら追加します。

config.toml 確認
R

relativeURLs = true publishDir = "docs"

1
2

relativeURLs = true
publishDir = "docs"
- relativeURLs：アドレス参照を相対アドレスにします。これを設定しないと、css や Javascript の参照が絶対アドレスになり、参照が不正になります。
- publishDir：blogdown::build_site() の出力ディレクトリを設定します（この場合は “docs”）。
サイトに必要なファイルを全て./docs* 以下に生成するため、次のコマンドを実行します。

docsに全ファイル生成
Shell

blogdown::build_site()

1

blogdown::build_site()

今回は、ここで作成されたものをそのままアップロードします！

【前に：blogdownへの道（3）】、【次へ：blogdownへの道（5）】

blogdownへの道（3）

R プロジェクトの作成

blogdown を使用するには、空のプロジェクトが必要ですので、新規に作成していきます。

1. RStudio のメニューから「File → New Project」を選択し、表示された “Create Project” の中から、”Version Control” を選択し、次に表示される画面では、バージョンコントローとして Git を選択します。

2. 次の「Clone Git Repository」画面の”Repository URL” の欄に、先ほど作成しコビーした、Git レポジトリのアドレスを貼り付けます。（図 3-3 参照）
最後に、“Create Project” をクリックします。

なお今回は、ディレクトリ “G:\R” の下に、”my_blog” という名前のディレクトリを作成しています。
【前に：blogdownへの道（2）】、【次へ：blogdownへの道（4）】

blogdownへの道（2）

GitHubにリボジトリを作る

GitHubにログインします。
左サイドメニューの “New” ボタンをクリックします。
図 2-1 リポジトリ作成
“my_blog” と言う名前でリポジトリを作成します。
図 2-2 名称 my_blog でリポジトリ作成
リポジトリが作成されたので、”https://github.com/アカウント名/レポジトリ名.git” 部分をコピーして、秀丸等に張り付けておきます。
図 2-3 URLのコピー

GitHubでの作業は、これでいったん終了します。
【前に：blogdownへの道（1）】、【次へ：blogdownへの道（3）】

blogdownへの道（1）

参考サイト：RSTUDIOではグラブれないけど、ブログれる

前提条件	R、RStudio、Git がインストール済み
	GitHubへのユーザ登録

RStudio で Git を使えるようにする

RStudio をインストールしただけでは Git は使えません。
そのため、参考サイトに示した手順の中に、「RStudioでGitHubレポジトリとリンク」の説明がありますが、この手順が実行できません。
まず、次により Git を有効にする必要があります。

メニューバーから Tools → Global Options を選択
左側メニューの Git/SVN をクリック
Enable version control interface for RStudio projects をチェックし有効にする
Git executable に git.exe へのパスを入力する

以上で、RStudio 上での　Git の使用が可能になっているはずです。

ここで、後に必要になるので Git Bash を立ち上げ、次の Git コマンドを実行しておきます。

git config --global user.email "you@example.com"
git config --global user.name  "Your Name"

1 2	git config --global user.email "you@example.com" git config --global user.name "Your Name"

【次へ：blogdownへの道（2）】

Anaconda環境へのPycharmインストール

【発生した問題点】

インストールした Anaconda 環境下で Pycharm が動作しない。

【環境】

OS : windows 10
Anaconda3-2018-12(64bit版)
pycharm-community-2018.3.3

【状況の整理】

Pycharm: File->Settings->Project python->Project Interpreter には
「~/Anaconda3/python.exe」を設定済み
Pycharm アイコンから起動した場合、import した numpy などのパッケージがエラーになる
Anaconda Prompt のコマンドラインから起動すると、この現象が発生せず正常に動作する
idle も同様に、コマンドプロンプトから起動すると import でエラーになるが、Anaconda Prompt から起動した場合はエラーにならない

【対策】

「Anaconda Prompt と Command Prompt で動作が異なるのは、Path の設定に違いがあるのでは」との推測のもとに、以下により双方の Path 情報をファイルに出力して比較してみた。

echo %PATH% > command_path.txt

1	echo %PATH% > command_path.txt

echo %PATH% > anaconda_path.txt

1	echo %PATH% > anaconda_path.txt

その結果、Anaconda Prompt 側から得られた Path には、次の 6つが追加されているのが判明した。

C:\Users\（ユーザ名）\Anaconda3;
C:\Users\（ユーザ名）\Anaconda3\Library\mingw-w64\bin;
C:\Users\（ユーザ名）\Anaconda3\Library\usr\bin;
C:\Users\（ユーザ名）\Anaconda3\Library\bin;
C:\Users\（ユーザ名）\Anaconda3\Scripts;
C:\Users\（ユーザ名）\Anaconda3\bin;
C:\Users\（ユーザ名）\Anaconda3\condabin;

C:\Users\（ユーザ名）\Anaconda3;

C:\Users\（ユーザ名）\Anaconda3\Library\mingw-w64\bin;

C:\Users\（ユーザ名）\Anaconda3\Library\usr\bin;

C:\Users\（ユーザ名）\Anaconda3\Library\bin;

C:\Users\（ユーザ名）\Anaconda3\Scripts;

C:\Users\（ユーザ名）\Anaconda3\bin;

C:\Users\（ユーザ名）\Anaconda3\condabin;

この 6 種のパスを、環境変数の Path に設定し Python を起動したところ問題なく実行できるようになった。
（なお、Anaconda3\Library\usr\bin と Anaconda3\bin は存在しないので指定不要かと思われる。）

パソコンを新しくして、悩み続けた１か月。
漸く Pycharm が動くようになった。
目出度し！

R 終了時のワークスペース保存確認を表示しない

R を終了するときに、ワークスペースを “>RData” に保存するかどうかを尋ねられます。
いろいろなサイトを当ってみても、「保存しない」のが一般的なようだ。
しからば、そのダイアログを出さないようにしてしまいましょう。

R Console の場合

R console のショートカット→右クリクック→プロパティ
表示されたプロパティの「リンク先」に、図のように “–no-save” を追加する。

RStudio の場合

RStudio を開き
Menu の “Tools” → “Global Options…” で Options を開き
次の個所を

以下のように変更する。

以上

Jupyter Notebook の初期ディレクトリ

パソコンも windows　10 になり、どうしてもインストールができなかった Anaconda が使えるようになったので jupyter notebook を起動すると、Edge が起動し”C:Users\ユーザ名” が初期ディレクトリとして開かれる。

これを、Chome で初期ディレクトリとして “G:\python” に変更するため

jupyter notebook --generate-config

1	jupyter notebook --generate-config

として、
~/.jupyter/jupyter_notebook_config.py
を作成し、以下のように変更。

#（260行目付近）
## The directory to use for notebooks and kernels.
c.NotebookApp.notebook_dir = 'G:\\python'

#（268行目付近に追加）
#c.NotebookApp.open_browser = True
import webbrowser
webbrowser.register('chrome', None, webbrowser.GenericBrowser('C:\\Program Files (x86)\\Google\\Chrome\\Application\\chrome.exe'))
c.NotebookApp.browser = 'chrome'

#（260行目付近）

## The directory to use for notebooks and kernels.

c.NotebookApp.notebook_dir = 'G:\\python'

#（268行目付近に追加）

#c.NotebookApp.open_browser = True

import webbrowser

webbrowser.register('chrome', None, webbrowser.GenericBrowser('C:\\Program Files (x86)\\Google\\Chrome\\Application\\chrome.exe'))

c.NotebookApp.browser = 'chrome'

これで、「スタートメニュー → Anaconda3(64bit) → Jupyter Notebook」
で起動すると、ブラウザは Chrome になったものの、ディレクトリは依然として元のまま変更されない。
これを、コマンドプロンプトから起動すると、指定通り G ドライブに切り替わっている。

これは、起動コマンドの問題だろうと推測できるので、
「スタートメニュー → Anaconda3(64bit) → Jupyter Notebook」を右クリックし、
「その他 → ファイルの場所を開く」
そのフォルダ内の「Jupyter Notebook ショートカット」を
「右クリック → プロパティ」
でプロパティの「リンク先」を見ると

C:\Users\ユーザ名\Anaconda3\python.exe C:\Users\ユーザ名\Anaconda3\cwp.py C:\Users\ユーザ名\Anaconda3 C:\Users\ユーザ名\Anaconda3\python.exe C:\Users\ユーザ名\Anaconda3\Scripts\jupyter-notebook-script.py "%USERPROFILE%/"

1	C:\Users\ユーザ名\Anaconda3\python.exe C:\Users\ユーザ名\Anaconda3\cwp.py C:\Users\ユーザ名\Anaconda3 C:\Users\ユーザ名\Anaconda3\python.exe C:\Users\ユーザ名\Anaconda3\Scripts\jupyter-notebook-script.py "%USERPROFILE%/"

吃驚するほど長いが、環境変数 “%USERPROFILE%/” が怪しいのでググってみると、これが初期ディレクトリを指定しているものらしい。
一応、バックアップのためリンク先をエディタに張り付けた後、リンク先から直接
“%USERPROFILE%/” 部分を削除。

これで、 “G:\python” が初期ディレクトリとして開かれるようになりました！

Pythonでスクレイピング

スクレイピングの例として、Yahoo からトヨタの株価を取得しグラフを描いてみる。
逐次確認しながら進めるため、Jupyter-notebookを使用する。

１．Yahoo からトヨタ（7203）の株価を取得する

# -*- coding: utf-8 -*-
import urllib.request, urllib.error
from   bs4 import BeautifulSoup
import re  # 正規表現

# アクセスするURL
url = "https://info.finance.yahoo.co.jp/history/?code=7203.T"

# URLにアクセスする 戻り値にはアクセスした結果やHTMLなどが入ったinstanceが帰ってきます
instance = urllib.request.urlopen(url)

# instanceからHTMLを取り出して、BeautifulSoupで扱えるようにパースします
soup = BeautifulSoup(instance, "html.parser")

print(soup.title)

# -*- coding: utf-8 -*-

import urllib.request, urllib.error

from bs4 import BeautifulSoup

import re # 正規表現

# アクセスするURL

url = "https://info.finance.yahoo.co.jp/history/?code=7203.T"

# URLにアクセスする戻り値にはアクセスした結果やHTMLなどが入ったinstanceが帰ってきます

instance = urllib.request.urlopen(url)

# instanceからHTMLを取り出して、BeautifulSoupで扱えるようにパースします

soup = BeautifulSoup(instance, "html.parser")

print(soup.title)

<title>トヨタ自動車(株)【7203】：株式/株価 - Yahoo!ファイナンス</title>

1	<title>トヨタ自動車(株)【7203】：株式/株価 - Yahoo!ファイナンス</title>

２．株式のテーブルを取得し、その中の全行(tr)を取出す

stc_tbl=soup.find('table',class_='boardFin')
stc_trs=stc_tbl.find_all('tr')
stc_trs

stc_tbl=soup.find('table',class_='boardFin')

stc_trs=stc_tbl.find_all('tr')

stc_trs

結果は、次の様なリストになる。

[<tr>
 <th width="20%">日付</th>
 <th width="12%">始値</th>
 <th width="12%">高値</th>
 <th width="12%">安値</th>
 <th width="12%">終値</th>
 <th width="12%">出来高</th>
 <th width="20%">調整後終値*</th>
 </tr>,
 <tr><td>2018年12月11日</td><td>6,800</td><td>6,812</td><td>6,738</td><td>6,745</td><td>6,559,300</td><td>6,745</td></tr>,
 <tr><td>2018年12月10日</td><td>6,720</td><td>6,839</td><td>6,720</td><td>6,820</td><td>5,380,200</td><td>6,820</td></tr>,
：
]

[<tr>

<th width="20%">調整後終値*</th>

</tr>,

<tr><td>2018年12月11日</td><td>6,800</td><td>6,812</td><td>6,738</td><td>6,745</td><td>6,559,300</td><td>6,745</td></tr>,

<tr><td>2018年12月10日</td><td>6,720</td><td>6,839</td><td>6,720</td><td>6,820</td><td>5,380,200</td><td>6,820</td></tr>,

：

]

３．株価データ用の2次元リストを作成する

# 数値内のカンマを除去する
def trimcom(data):
    return data.replace(",","")

data=[] # データ格納用のリスト
for i,stc_tr in enumerate(stc_trs):
    if i == 0:
        # 先頭行は見出し
        stc_ths=stc_tr.find_all('th')
        th=[] # 列見出し用のリスト
        for j, stc_th in enumerate(stc_ths):
            # リストに見出しを格納
            th.insert(j, stc_th.string)
        data.insert(i,th) # data[0] に見出しのリストを格納
    else:
        # 2行目以降は株価データ
        stc_tds=stc_tr.find_all('td')
        td=[] # 株価データ用のリスト
        for j,stc_td in enumerate(stc_tds):
            # 株価からカンマを除去しリストに格納
            td.insert(j, trimcom(stc_td.string))
            if j > 0:
                # 日付以外を整数型に変換
                td[j]=int(td[j])
        data.insert(i,td) # data[i] に株価データのリストを格納

data

# 数値内のカンマを除去する

def trimcom(data):

return data.replace(",","")

data=[] # データ格納用のリスト

for i,stc_tr in enumerate(stc_trs):

if i == 0:

# 先頭行は見出し

stc_ths=stc_tr.find_all('th')

th=[] # 列見出し用のリスト

for j, stc_th in enumerate(stc_ths):

# リストに見出しを格納

th.insert(j, stc_th.string)

data.insert(i,th) # data[0] に見出しのリストを格納

else:

# 2行目以降は株価データ

stc_tds=stc_tr.find_all('td')

td=[] # 株価データ用のリスト

for j,stc_td in enumerate(stc_tds):

# 株価からカンマを除去しリストに格納

td.insert(j, trimcom(stc_td.string))

if j > 0:

# 日付以外を整数型に変換

td[j]=int(td[j])

data.insert(i,td) # data[i] に株価データのリストを格納

data

出力結果の一部を示す

[['日付', '始値', '高値', '安値', '終値', '出来高', '調整後終値*'],
 ['2018年12月11日', 6800, 6812, 6738, 6745, 6559300, 6745],
 ['2018年12月10日', 6720, 6839, 6720, 6820, 5380200, 6820],
 ['2018年12月7日', 6927, 6939, 6814, 6858, 7562500, 6858],
：
]]

[['日付', '始値', '高値', '安値', '終値', '出来高', '調整後終値*'],

['2018年12月11日', 6800, 6812, 6738, 6745, 6559300, 6745],

['2018年12月10日', 6720, 6839, 6720, 6820, 5380200, 6820],

['2018年12月7日', 6927, 6939, 6814, 6858, 7562500, 6858],

：

]]

４．plotly で扱いやすくするため、２次元リストをデータフレームに変換する

import pandas as pd
df = pd.DataFrame(data[1:20],columns=data[0])

df

import pandas as pd

df = pd.DataFrame(data[1:20],columns=data[0])

５．plotly でグラフを描く

import plotly.offline as offline # offline notebook 用
import plotly.graph_objs as go

# offline notebook 用
offline.init_notebook_mode()

trace0 = go.Scatter(
    x = df['日付'],
    y = df['高値'],
    mode = 'lines+markers',
    name = '高値'
)
trace1 = go.Scatter(
    x = df['日付'],
    y = df['安値'],
    mode = 'lines+markers',
    name = '安値'
)
data = [trace0,trace1]
# offline notebook 用
offline.iplot(data,image='png')

import plotly.offline as offline # offline notebook 用

import plotly.graph_objs as go

# offline notebook 用

offline.init_notebook_mode()

trace0 = go.Scatter(

x = df['日付'],

y = df['高値'],

mode = 'lines+markers',

name = '高値'

)

trace1 = go.Scatter(

x = df['日付'],

y = df['安値'],

mode = 'lines+markers',

name = '安値'

)

data = [trace0,trace1]

# offline notebook 用

offline.iplot(data,image='png')

本来であれば「ローソク足」という株価特有のチャートにしたかったのだが
plotlyのものはとても馴染めないものだったので、折れ線グラフで妥協した。

geopandas のインストール

pip で geopandas のインストールが出来なかった。
同じ問題で悩んでいる方の福音となればとの想いで書留めたメモです。

当方の環境

windows 7 64bit
python 3.7（単独でインストール）

Visual c++ をインストールし、ググって調べたあらゆる方法を試みるも、パッケージの依存関係の所為か全て失敗に終わる。
そんな時に見つけたのが、Windows バイナリを入手してのインストール方法。

配布元：Unofficial Windows Binaries for Python Extension Packages

このサイトから、geopandas‑0.4.0‑py2.py3‑none‑any.whl を探しダウンロード。
（C:\Users\ユーザー名\Downloads にダウンロードしたものとする。）

次に

C:\Users\ユーザー名\Downloads> python -m pip install geopandas‑0.4.0‑py2.py3‑none‑any.whl

1	C:\Users\ユーザー名\Downloads> python -m pip install geopandas‑0.4.0‑py2.py3‑none‑any.whl

として、pip の実行。

悩みに悩んだ geopandas のインストールが、実に簡単に success！

ぬか喜びに終わらないよう、その動作確認を

import plotly.offline as py
import plotly.figure_factory as ff

fips = ['06021', '06023', '06027',
        '06029', '06033', '06059',
        '06047', '06049', '06051',
        '06055', '06061']
values = range(len(fips))

fig = ff.create_choropleth(fips=fips, values=values)
py.plot(fig, filename='simple-example.html', include_plotlyjs='cdn')

import plotly.offline as py

import plotly.figure_factory as ff

fips = ['06021', '06023', '06027',

'06029', '06033', '06059',

'06047', '06049', '06051',

'06055', '06061']

values = range(len(fips))

fig = ff.create_choropleth(fips=fips, values=values)

py.plot(fig, filename='simple-example.html', include_plotlyjs='cdn')

既定のブラウザが起動し、地図が表示されて OK！。

なお、上を実行すると次のようなワーニングが出るが、無視して構わないらしい。

C:\python\lib\site-packages\pandas\core\frame.py:6211: FutureWarning:

Sorting because non-concatenation axis is not aligned. A future version
of pandas will change to not sort by default.

To accept the future behavior, pass 'sort=False'.

To retain the current behavior and silence the warning, pass 'sort=True'.

C:\python\lib\site-packages\pandas\core\frame.py:6211: FutureWarning:

Sorting because non-concatenation axis is not aligned. A future version

of pandas will change to not sort by default.

To accept the future behavior, pass 'sort=False'.

To retain the current behavior and silence the warning, pass 'sort=True'.

Apacheが起動しない場合の対策

このところ、ウィルスバスターが原因でPC起動時にapacheが立ち上がらない。
仕方ないので、「ウィルスバスター停止→xampp-controlからapache起動→ウィルスバスター再起動」を毎日繰り返している。
原因がはっきりしているので、こちらはトレンドマイクロに問合せ中であるが回答がない。

今朝方は、これに加え「PID 4」がポート80を使用してとのことで、上の手順でも起動せず。
インターネットをググって何とか対策ができたので、その手順を残して置く。

1. プロセスID（PID）の特定

ポート80を使用しているPIDを特定する

netstat -nao | findstr 0.0.0:80

1	netstat -nao \| findstr 0.0.0:80

2. タスク名の特定

ポート80をListenしているPIDからイメージ名（タスク名）を調べる

tasklist | findstr PID # 上のPID（数値）を指定

# または

tasklist /svc | findstr PID

tasklist | findstr PID # 上のPID（数値）を指定

# または

tasklist /svc | findstr PID

3. サービスの停止

（2019/1/8 追記）
原因は、PID 4 System が port 80 を使用しているのが原因であった。
System 自体は停止できないので、その中でどのサービスが port 80 を使用しているかを特定する必要がある。
Opening Up Port 80 For Apache to Use On Windowsにその一覧が有るので、一つ一つサービスを確認する。

今回の原因は「Web Deployment Agent Service」（参考サイト(1)に同じ）。
このサービスが、何故起動するようになったかは不明ではあるものの、これまで使っていなかったので停止しても問題はなかろうとの判断の元、これを停止することにする。

「スタート→管理ツール→サービス」として、表示されたサービスの中から一致する名前を探し、それをダブルクリックして次のように設定する
。
(1)スターアップの種類→「手動」
(2)サービスの状態→「停止」

その後、apacheの起動。

4. 参考サイト

(1)Windows7でApacheが起動しない
(2)WebMatrix とポート80 の関係を断つ方法
(3)netstatでリッスンしているプロセスを特定する
(4)Windows で Port 80 を使っている PID 4 ってナニヤツ

2019年12月
日	月	火	水	木	金	土
« 11月
1	2	3	4	5	6	7
8	9	10	11	12	13	14
15	16	17	18	19	20	21
22	23	24	25	26	27	28
29	30	31