技術的なメモ
地図描画に使用する都道府県境界データ(ShapeFile)は、次の2つのサイトから取得できる。
(1) GIS ホームページ
(2) データ形式：GML(JPGIS2.1)シェープファイル・・・デフォルトで選択されている
→ 2.政策区域の行政区域 を選択
(3) データダウンロードの画面が表示されるので、必要な全国、または都道府県を選択して、「次へ」をクリック
(4) その後、測量した年度を指定し、アンケートに答え、利用約款に同意することでダウンロードが可能になる。
(1) e-Stat ホームページ
(2) トップメニューの「地図で見る」をクリック→「境界データダウンロード」
(3) 「小地域」→「国勢調査」→「2015年」（2015,2010,2005,2000年のいずれか）
(4) 「町丁・字等別」→「世界測地系緯度経度・Shape形式」
(5) 都道府県選択画面が表示されるので、必要なデータをダウンロードする
ggplot2 による地図を描画するため、現バージョンにバンドルされていない geom_sf() が必要なので、development version をインストールしたい。方法は、こちらに記述されているが、R console から次のコマンドを実行する。
|
1 |
devtools::install_github("tidyverse/ggplot2") |
ところが、これがうまく行かない。
途中、2回もRtoolsのインストールが走り、延々処理した揚句の失敗が痛い！
一旦は、インストールを諦めたものの、どうしても欲しい物は欲しいのである。
思い直し、Rtoolsの何たるかものかを調べることから再開。
Rtoolsとは、Windows 環境でパーッケージをソースからインストールする際に
「C++でコンパイルするため，C++コンパイラが必要で，WindowsではRtoolsを使う」
とのこと。
Rtoolsのインストール手順は以下の通り。
(1) 既存のRtoolsをアンインストール
(2) Building R for Windows からRtoolsをダウンロード
(3) ダウンロードした RtoolsXX.exe（XX:バージョン）をダブルクリック
(4) R console から次のコマンドを入力して、gcc がインストールされていることを確認する。
|
1 |
system('g++ -v') |
以下のようなメッセージが表示されれば成功。
|
1 2 3 4 5 6 7 8 |
> system('g++ -v') Using built-in specs. COLLECT_GCC=c:\Rtools\mingw_32\bin\G__~1.EXE COLLECT_LTO_WRAPPER=c:/Rtools/mingw_32/bin/../libexec/gcc/i686-w64-mingw32/4.9.3/lto-wrapper.exe Target: i686-w64-mingw32 （省略） Thread model: posix gcc version 4.9.3 (i686-posix-dwarf, Built by MinGW-W64 project) |
これで、Rtools のインストールが完了したので、先程のコマンドを実行する。
|
1 |
devtools::install_github("tidyverse/ggplot2") |
コンパイルが走るので、時間が掛るが辛抱強く終わるのを待つ。
終ったら、バージョンを確認する。
|
1 |
packageVersion("ggplot2") |
メデタシ、メデタシ？
Windows環境では、問題なくインストールできたが、
Ubuntuでは、延々処理した揚句、インストール失敗。
そこで、その手順を示す。
(1) libcairo2-dev のインストール
次にインストールする svglite に必要なため、最初にこれをインストールする。
|
1 |
sudo apt-get install libcairo2-dev |
(2) svglite のインストール
Rコンソールから
|
1 |
install.packages(svglite) |
(3)mapview のインストール
Rコンソールから
|
1 |
install.packages(mapview) |
以上
Rでshapefileを入力して、地図を描画できると言うことで、いろいろ試してみるも、
問題山積して、収拾ががつかない状況にある。
しかし、何とか解決したものだけでもメモにして残しておく。
環境は、windows7、R 3.4.4（2018/4/6時点の最新版）
shapefileを入力するのに、従来は maptools の readShapePoly 等を使用するわけだが、現在は
|
1 2 |
Warning message: use rgdal::readOGR or sf::st_read |
と、警告が発せられる。
Googleで調べてみると、将来の方向性として sf パッケージが良さそうなので sf をインストールしてみる。
（RでGISをやるときにはsfパッケージ、という世の中になるらしい。に詳しい説明があります。）
これによって、shapefileは首尾よく入力できるようにはなった。が、sf::st_read()で入力したデータは fortify でのフォーマット変換ができないので、geom_sf()を使用することになる。
これで plot を使用すれば地図の描画はできるが、ggplot2 を使用する場合は、geom_sf()を使用しなければならない。
geom_sf()は、ggplot2 の関数だが、バージョン2.2.1にはこれがバンドルされていないと言う問題がある。
インターネットを探せば、上位にこのインストールの件についての質問が為されているが、答えは何時も
|
1 |
devtools::install_github("tidyverse/ggplot2") |
で、インストールせよとのご託宣。種々調べたが、これ以外には方法がない模様。
しかし、試しに windows 環境で実行するも、結果的に失敗に終わる。断定はできないが多分無理。
Windows な人の結論、
次期バージョンを待とう！
（インストールはこちらをご覧ください。）
windowsは見捨てて、guest os の Ubuntu 17.10 で再挑戦。インストールのコマンドは全く同じ。
こちらは、問題なくインストール完了！
ggplot2 2.2.1.9000（変なバージョン番号だが問題はなし）
（「RでGISをやるときにはsfパッケージ、という世の中になるらしい。」によれば、Ubuntu 16.10 以降でなければ、いろんな問題があるらしいので注意してください。）
例えば、ggplot を使用して次の様な「男女別の人口推移」のグラフを作るものとします。
総務省の人口統計等からデータは入手できます。
ダウンロード後、Excelなどで次のように編集して、csv形式でとして保存するのが一般的な方法かと思います。
|
1 2 3 4 5 6 7 8 9 |
年次 男 女 1 大正9年 28044 27919 2 大正14年 30013 29724 3 昭和5年 32390 32060 4 昭和10年 34734 34520 5 昭和15年 35387 36546 6 昭和25年 41241 42873 7 昭和30年 44243 45834 8 昭和35年 46300 48001 |
単純な表なので簡単に作れますが、面倒と思う人のため、次にデータを用意しておきました。
データの構成は、このように作るのが一般的と思いますが、これを上のような棒グラフでプロットするのは大変困難です。
x軸（年次）が共通で、y軸が各々男と女を別個にプロットすると重なり合ってしまうためです。回避手段（例えば、dodge を使うなど）は有るかもしれませんが、私の力量では無理です。
この問題の解決策は、データを次の通りに変更すること（が、一番手っ取り早い手段）です。
|
1 2 3 4 5 6 7 |
年次 性別 人口 1 大正9年 男 28044 2 大正9年 女 27919 3 大正14年 男 30013 4 大正14年 女 29724 5 昭和5年 男 32390 6 昭和5年 女 32060 |
つまり、年次別に男と女の2行にしてにデータを持つことです。当然、数値が男女何れかを識別するために、変数名「男」、「女」をデータとする必要があります。（なお、この形式のデータフォーマットは、前者を wide-format、男女別に人口を持つ後者を long-format と言うのだそうです。）
力技でこのような変換もできますが、簡単に行うのがreshape2::meltとtidyr::gatherです。
変換方法は次の通り。
(1) reshape2::melt
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 |
library(reshape2) # データ入力 popu <- read.csv("populaton.csv",fileEncoding = "UTF-8",stringsAsFactors = FALSE) #*************************************************************** # データフレームの構成を変更する wide-format -> long-format へ #*************************************************************** popu2 <- reshape2::melt(popu,id=c("年次"),variable.name = "性別",value.name = "人口") # 年次別にソート popu2 %>% arrange(年次) |
(2) tidyr::gather
|
1 2 3 4 5 6 7 8 9 10 11 12 13 |
library(tidyverse) # データ入力 popu <- read.csv("population.csv",fileEncoding = "UTF-8",stringsAsFactors = FALSE) #*************************************************************** # データフレームの構成を変更する wide-format -> long-format へ #*************************************************************** popu1 <- popu %>% tidyr::gather(key = 性別,value = 人口,男,女) %>% arrange(年次) # 年次別にソート |
この2つは、全く同じことを行っていますが、tidyrの方がスピードが速いのでお勧めだそうです。
Rで異なる行同士の演算ってどうしたものやら、全く分からない。
と言うことで、SQLite3を使おうとしたもの。（前のブログ参照）
データは、SQLite3と同じ次のテーブルを使います。
|
1 2 3 4 5 6 7 8 9 |
year sale 1990 50 1991 51 1992 52 1993 52 1994 50 1995 50 1996 49 1997 55 |
このsaleの年度間の増減を計算したい場合、
つまり、次の様な表を作成するにはどうするか？
|
1 2 3 4 5 6 7 8 9 |
year sale 増減 1990 50 NULL 1991 51 1 1992 52 1 1993 52 0 1994 50 -2 1995 50 0 1996 49 -1 1997 55 6 |
R の場合も、「LAG」がこの問題を解くキーワードでした。
mutate内で、lag()を使用します。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 |
library(tidyverse) library(RSQLite) # データの入力 ------------------------------------------------------------------ con <- dbConnect(SQLite(), "test.sqlite3", synchronous="off") # connect sql <- 'select * from Sales' # SQL Sales <- dbGetQuery(con,sql) # クエリの実行 Sales # 結果セットを確認 # 差額計算し列を追加する Sales %>% mutate( 差額 = sale - lag(sale) ) |
実行結果は次の通り。
|
1 2 3 4 5 6 7 8 9 |
year sale 差額 1 1990 50 NA 2 1991 51 1 3 1992 52 1 4 1993 52 0 5 1994 50 -2 6 1995 50 0 7 1996 49 -1 8 1997 55 6 |
通常の言語では、何のこともないこのような計算が、Rではある程度の予備知識がなければ途方に暮れてしまう程、面倒なものですね。
CSVのインポートにはSQLiteStudioを使用します。
使用する前に、あらかじめデータベースを作成しておいてください。
今回は、test.sqlite3 という名称でDBを作成したものとします。
(1) データベースの確認
(2) CSVのインポート
●テーブル名入力
●CSVやエンコードの指定
(3) 確認
●フィールドの確認
●データの確認
両方ともに、中々インターネットを探してみても情報が少ないので、あちらこちらか情報を掻き集めて比較してみようと思う。
データには、irisやflightsは馴染みがなく、かつデータ数が多過ぎて検証が難しいので、次のサンプルを使用します。
|
1 2 |
# データ入力 data<-read.csv("2017.csv") |
|
1 2 3 4 5 6 7 8 9 10 11 |
library(plyr) # 各月の最高気温の平均を計算 ddply(data,"month",summarize, AveTemp = mean(high)) #> month AveTemp #> 1 1 10.35806 #> 2 2 11.09286 #> 3 3 12.60645 #> 4 4 18.66333 |
.()を使用します。結果は、上と同じです。
|
1 2 3 |
# .()関数 ddply(data,.(month),summarize, AveTemp = mean(high)) |
|
1 2 3 4 5 6 7 8 9 |
# 各月の最高気温の平均と標準偏差を計算する ddply(data,.(month),summarize, AveTemp = mean(high), SdTemp=sd(high)) #> month AveTemp SdTemp #> 1 1 10.35806 3.177921 #> 2 2 11.09286 2.893150 #> 3 3 12.60645 2.795107 #> 4 4 18.66333 3.697481 |
最高気温の平均を列に追加します。
|
1 2 3 4 5 6 7 8 9 |
# 元のデータに各月の最高気温の平均を追加する ddply(data,"month",transform, AveTemp = mean(high)) #> date year month day high low AveTemp #> 1 20170101 2017 1 1 13.8 1.4 10.35806 #> 2 20170102 2017 1 2 13.1 1.9 10.35806 #> 3 20170103 2017 1 3 13.2 2.1 10.35806 #> 4 20170104 2017 1 4 12.8 1.7 10.35806 |
|
1 2 3 4 5 6 7 8 9 10 11 |
# 各月の最高気温の平均を計算 data %>% group_by(month) %>% summarise( AveTemp = mean(high)) #> month AveTemp #> <int> <dbl> #> 1 1 10.4 #> 2 2 11.1 #> 3 3 12.6 #> 4 4 18.7 |
|
1 2 3 4 5 6 7 8 9 10 11 |
# 最高気温の平均と標準偏差を計算 data %>% group_by(month) %>% summarise(AveTemp=mean(high), SdTemp=sd(high)) #> month AveTemp SdTemp #> <int> <dbl> <dbl> #> 1 1 10.4 3.18 #> 2 2 11.1 2.89 #> 3 3 12.6 2.80 #> 4 4 18.7 3.70 |
summarise_at を使った場合。結果は、上と同じです。
|
1 2 3 |
data %>% group_by(month) %>% summarise_at("high",funs(AveTemp==mean,SdTemp=sd)) |
|
1 2 3 4 5 6 7 8 9 10 11 |
# 最高と最低気温の平均と標準偏差を計算 data %>% group_by(month) %>% summarise_at(c("high","low"),funs(AveTemp==mean,SdTemp=sd)) #> month high_AveTemp low_AveTemp high_SdTemp low_SdTemp #> <int> <dbl> <dbl> <dbl> <dbl> #> 1 1 10.4 0.506 3.18 2.49 #> 2 2 11.1 1.96 2.89 2.12 #> 3 3 12.6 3.48 2.80 2.32 #> 4 4 18.7 9.91 3.70 3.34 |
最高気温の平均を列に追加します。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 |
# 元のデータに各月の最高気温の平均を追加する dth <- data %>% group_by(month) %>% mutate( AveHigh = mean(high) ) #> date year month day high low AveHigh #> <int> <int> <int> <int> <dbl> <dbl> <dbl> #> 1 20170101 2017 1 1 13.8 1.40 10.4 #> 2 20170102 2017 1 2 13.1 1.90 10.4 #> 3 20170103 2017 1 3 13.2 2.10 10.4 #> 4 20170104 2017 1 4 12.8 1.70 10.4 |
これを年月でグループ化してみましょう。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 |
group_by(data, year, month) %>% # 年月でグループ化 summarise( AveHigh = mean(high, na.rm = TRUE), # 月ごとの平均最高気温 AveLow = mean(low, na.rm = TRUE), # 月ごとの平均最低気温 SumPrec = sum(prec, na.rm = TRUE) # 月ごとの降水量 ) #> year month AveHigh AveLow SumPrec #> <int> <int> <dbl> <dbl> <dbl> #> 1 2017 1 10.4 0.506 36.5 #> 2 2017 2 11.1 1.96 30.5 #> 3 2017 3 12.6 3.48 92.5 #> 4 2017 4 18.7 9.91 145 #> 5 2017 5 24.4 15.5 56.0 |
各月別に真夏日を数えてみよう。
知らないと、意外に面倒。データ数を数えるのでcountと思いきやエラー。sumを使うのが正解だそうです。
|
1 2 3 4 5 6 7 8 9 10 |
# 真夏日の日数カウント data %>% group_by(month) %>% summarise(真夏日の日数 = sum(high >= 30)) #> month 真夏日の日数 #> <int> <int> #> 1 1 0 #> 2 2 0 #> 3 3 0 |
もののついでに棒グラフで表示してみる。
|
1 2 3 4 5 6 |
library(ggplot2) data %>% group_by(month) %>% summarise(真夏日の日数 = sum(high >= 30)) %>% ggplot(aes(x = factor(month), y = 真夏日の日数)) + geom_bar(stat = "identity") |
取り敢えずここまで。
Twenty Fifteen を例に、子テーマを使用してフォントをカスタマイズする。
1. 子テーマ用のフォルダ作成
/wp-content/themes に、子テーマ用のフォルダとして
twentyfifteen-child
を作成する。
2.style.css
上記のフォルダに、次の style.css を作成する。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 |
/* Theme Name: Twenty Fifteen Child Theme URI: http://memopad.bitter.jp/blog/wp-content/themes/twentyfifteen-child/ Description: Twenty Fifteen Child Theme Author: Yutaka Tsuchida Author URI: http://memopad.bitter.jp Template: twentyfifteen Version: 1.0.0 License: GNU General Public License v2 or later License URI: http://www.gnu.org/licenses/gpl-2.0.html Tags: light, dark, two-columns, right-sidebar, responsive-layout, accessibility-ready Text Domain: twenty-fifteen-child */ body{ font-family:"Meiryo UI", “メイリオ”, Meiryo, “ヒラギノ角ゴ Pro W3″, “Hiragino Kaku Gothic Pro”, sans-serif; } .MathJax_Display { text-align: left !important; text-indent: 1em !important; } |
コメントは、子テーマの情報として認識されので、各項目はサイトに合わせて書き換えること。特に必要なのは以下の2つ：
スペルミスをするとうまく認識されないので、きちんと確認してください。
3. function.php
続いて子テーマフォルダ内に functions.php というPHPファイルを作成する。
functions.php のコードは以下の通り。
|
1 2 3 4 5 6 7 8 9 10 |
<?php add_action( 'wp_enqueue_scripts', 'theme_enqueue_styles' ); function theme_enqueue_styles() { wp_enqueue_style( 'parent-style', get_template_directory_uri() . '/style.css' ); wp_enqueue_style( 'child-style', get_stylesheet_directory_uri() . '/style.css', array('parent-style') ); } ?> |
4. 子テーマを有効化
以上で子テーマが使えるようになったので、これを有効化する。
ダッシュボードから「外観→テーマ」と進んで、Twenty Fifiteen Child を有効化する。
参考URL：
子テーマを作ってWordPressの既存テーマをカスタマイズする方法
以上
Jupyter notebook で作成した ipynb ファイルは、様々な形式に変換できる。
サポートしている形式は以下の通り。
個人的には、HTMLとPDFだけで十分ではあるが・・・
例えば「test.ipynb」をHTMLに変換するには、コマンドラインから
|
1 |
$ jupyter nbconvert --to html test.ipynb |
とするとHTMLがtest.ipynbと同じディレクトリにtest.htmlが作成される。
css部分が巨大なので、1万ステップを超えるファイルになってしまうので、body部分のみを出力したい場合は、次のようにする。
|
1 |
$ jupyter nbconvert --to html --template basic test.ipynb |
PDF出力も、HTMLをPDFに変更した同じコマンドを使用する。
|
1 |
$ jupyter nbconvert --to pdf test.ipynb |
しかし、この形式に変換るにはLaTexを使用するので、先ずはLaTexのインストールが必要となる。
LaTexのインストール手順は以下の通り。
|
1 2 3 4 5 6 7 8 |
# apt-getの更新 sudo apt-get update # platex のインストール sudo apt install texlive texlive-lang-japanese # 拡張ライブラリのインストール sudo apt-get install --no-install-recommends texlive-latex-extra |
これでLaTexのインストールは完了していると思われるのだが、「xelatex」がPATHに登録されていないとのエラーが発生する。
致し方ないので、xelatexもインストールしてみる。
|
1 2 |
# xelatexのインストール sudo apt-get install texlive-xetex |
理由は分からないが、これで無事PDFが出力できるようになったが、イマイチ腑に落ちない。
