団塊世代の黄昏

ちょっと酷い話。

と言うPythonスクリプトを、コマンドラインから実行しようとしたら

何と Python が返ってきてしまった。
どうも変だ。
iPythonを起動してみる。

無視！
powershell で which を使って python の場所を調べてみると

“C:\Users\(user)\AppData\Local\Microsoft\WindowsApps”

????? 謎だらけ。

こんな場所を Path に設定したこともなければ
こんな所に Python をインストールした覚えもない。

環境変数の中の、「ユーザー環境変数」から Path を選択して「編集」で
内容を見てみると、
当該 Path が堂々と先頭に鎮座ましましているではないか！

これを、「下へ」ボタンを使って
“C:/Users/(user)/Anaconda3”
の下方へ配置転換。

これで、元通り Python は動くようななったが
問題は、何時、誰が、何のためこの設定をやったかだ。
（犯人はマイクロソフトのアップデートらしいが・・・）

参考：https://qiita.com/ozaki_physics/items/0547604eabf445e34969

Windows10 で、どうしても削除できないファイルができてしまった。
このファイルは、GIMPで作ったTIFF形式のファイル。
次の方法で削除を試みたが何れもNG.
・エクスプローラの削除（言うまでもないが）
・コマンドプロンプト Delコマンド（だんまり、操作不可に）
・WSL2 Ubuntu rm コマンド（だんまり、操作不可に）
・Wise Force Deleter（サードパーティソフト）
ロックが原因とも考えられるので、何度もリブートして削除に挑戦したが
何れも削除不可。
「だんまり、操作不可に」とは、コマンドを実行すると応答が一切なく
Ctrl+c 等々のあらゆる操作ができなくなる状態のこと。

ググってみると、1件だけそれらしきものが検索できた。
エクスプローラのバグとか、エクスプローラとGIMPの相性とかが議論されている。
詳細はよく分からないが、7-Zipで削除できるようなことが書いてあるので
試したところ、サクッと嘘のように削除できたのだ。

余りにあっけないので、念のためエクスプローラでもう一つのTIFFをコピーして
同様に削除を試みたところ、今度はダメ!削除できない。

どうやら、この原因は上で書いたようにエクスプローラが絡んでいるとしか考えようがない。
確認のため、PCを再起動し、スタートメニューから7-Zipを起動。改めて先のファイルの
削除を行うと問題なく削除完了。

ここから分かることは、エクスプローラで操作をしなければ
・コマンドプロンプト
・Ubuntu
・7-Zip
等々から削除可能であろうということ。
機会があれば確認してみたい。

（追）2020/12/27
削除不能なファイル作成は、GIMPのエクスポート時に表示されるダイアログで
「サムネイルの保存」のチェックを外せば回避できるとのこと。
確認したが、これで削除は問題なくできるようになる！

都道府県境界用のデータで取得したzipファイルを解凍すると、以下の7種類のファイルがアーカイブされています。

1. ne_10m_admin_1_states_provinces.cpg
2. ne_10m_admin_1_states_provinces.dbf
3. ne_10m_admin_1_states_provinces.prj
4. ne_10m_admin_1_states_provinces.README.html
5. ne_10m_admin_1_states_provinces.shp
6. ne_10m_admin_1_states_provinces.shx
7. ne_10m_admin_1_states_provinces.VERSION.txt

この、shp を使用して GeoJSON に変換します。変換には、README、VERSION 以外のファイルも使われるので、このディレクトリの状態で変換する方が賢明です。

GeoJSON への変換には、GDAL ライブラリのogr2ogrを使用します。
単純に、shp → GeoJSON であれば次のコマンド形式で変換できます。

本来であれば、範囲を日本だけに絞りたいところですが、shp をエディタで見ることもできないので取り敢えず単純に変換します。

その結果、65MB程の大きなGeoJSON ファイルが出力されます（変換時にエラーが出ますが、ファイルが出力されていれば問題ありません）。

GeoJSON のファイルサイズが大きいので、エディタによっては読み込めないかもしれません。
私の場合は、Chrome アプリの JSON Editor を使用していますが、これが実に優れモノで JSON を使用する場合の必須アイテムですね。
閑話休題、このデータ内に admin と言う項目があり、そこに国名が入っているので、これで国を絞ることが出来そうです。
ogr2ogr には、sql 指定が可能なので、国名を指定して再実行してみます。今回は、出力を japan.geojson にします。

これで、出力ファイルは650KB程まで縮小します。

その中を、エディタや先程の JSON Editor で見ると、以下のような問題が見えて来ます。

1. データの並びが都道府県順でない
2. 不要なコードが多数ある（都道府県名の多国語表記など）
3. データの欠落（静岡県が???表記になっている）

都道府県順出力は ORDER BY句を指定することで実現できそうです。
また、不要な項目を排し必要な項目だけを選択すれば、2と3の問題も解消できますので
先程のコマンドを次のように変更します。

各項目の内容は以下の通り。

GeoJSON のプロパティには、ユニークな識別子を設定する必要があるとのことなので、iso_3166_2 がそれに該当します。

これで、見通しの良いすっきりした GeoJSON が作成できたと思います。

Googleドライブの共有可能なリンクを使用して、Wordpressに画像を表示してみます。

手順

1. 「投稿の編集」かメディアを追加
2. 左メニューのアクションの中から「URLから挿入」をクリック
3. 「http://」で始まる入力ボックスに、共有可能なリンクを変換^(*1)したURLを貼り付ける
4. 後は好みに応じ、代替テキスト、キャプション等を入力して「投稿に挿入」する。

(*1) 共有可能なリンクの変換が分からない場合は、「Googleドライブの画像をブログに張付ける」を見てください。

Googleドライブにアップした画像をブログで使うと、ローカルからいちいちアップロードする必要もなくなるので便利かなと思い調べてみた。
調べた結果をすぐ忘れてしまうので、ここに備忘録として残しておく。

1. 何はともあれ Googleドライブを開く。
2. ブログ等に使用する画像やファイルなどを右クリックする。
3. コンテキストメニューの「共有可能なリンクを取得する」を選択。
4. ダイアログ「リンクを取得」の「リンクをコピー」を押下。

ここで得られたリンクは、次のようなフォーマットの何れかになっているはずなので、メモ帳などに張り付け確認する。

この形式のURLをそのまま使用できないので、次の形式に変換する必要がある。

テキストエディタで変換するのもよいが、毎回この文字列を思い出すのも面倒なので
変換用にプログラムを書いてみた。

共有可能なリンクの変換
http://memopad.bitter.jp/web/codepen/google-drive-url.html

一応入力形式のチェックも行っており、誤った形式のURLはエラーメッセージを表示するので安心して使えると思う。

都道府県境界を表す Geometry データはNatural Earthからダウンロードできます。
手順を以下に示します。

1. Large scale data, 1:10m の Cultural をクリック

データは、Large scale data, 1:10m が一番精度が高く（ファイルのサイズが大きい）、右に行くほど粗く（サイズが小さく）なるようです。

2. Admin 1 – States, Provinces の Download states and provinces をクリック

これでダウンロードが始まります。
内容は、日本に限らずアメリカの州や、中国の省なども含まれています。
解凍すると約30MB程のサイズになります。

Ubuntu18.04のAnaconda3環境にMeCabをインストールしてみた。
MeCabとは、所謂分かち書き用のソフトで、案山子や茶筅と同種のもの。

インストールは、「ubuntu 18.10 に mecab をインストール」を参考にした。

UbuntuへのMeCabインストール

動作確認

mecab-ipadic-NEologdのインストール

NEologd（Neologism dictionary for MeCab）とは、MeCabのシステム辞書のこと。
詳細はGitHubを参照。

私の環境では、この最後の行で「curl not found」のようなエラーが発生した。
“which curl”とすると、”curl” 自体は存在しているが Anaconda の中。
原因がこれと思われるので、curl をシステムにインストールする。

その後、再度

これで、無事インストール完了。

辞書の変更

/etc/mecabrcの「dicdir」を次のように変更する。

動作確認

今度は、後者は問題ないが、前者の方は「すももももも」が固有名詞になっちゃいました。

NEologdのGitHubページに

「Web上の文書の解析をする際には、この辞書と標準のシステム辞書(ipadic)を併用することをオススメします。」

と書いてあるのは、こういうことなのかもしれない。
でも、どうすれば併用できるの？
これは、これからの課題としてとっておく！！

追記

この「併用」を、ipadic と Neologd を組み合わせて解析するものと解釈したのが大間違いでした。
「場合場合で辞書を使い分けなさい」というのが、この「併用」の意味するところのようで、つまり、
「前者なら iapdic を、後者なら Neologd を使いなさい。私達は、双方を満足するするような解析はできませんよ」
と言うことのようです。

Python3へMeCabインストール

いよいよ佳境に入ってきた。
まずは必要なパッケージをインストール
（注：ここでは、swig インストール以外の操作は不要かもしれない。）

続いてPythonのMeCabパッケージをインストール。

「conda」ではなく「pip3」であることに注意！

import確認

簡単にターミナルから確認する。

pip3 によるインストール自体は正常終了したものの、Anacondaにはそれ相応の閉じた世界があるので、”pip3″ を使用してしまうと Anaconda Python の監視下にはインストールされないようだ。
いろいろググった挙句、行き着いたのはこのブログ。
jupyter notebook から pip インストールせよとのこと。

早速 jupyter notebook を立ち上げ、次を実行

（!pip であることに注意）

これにより、Python にMeCab が import可能になった。感謝！

サンプルプログラム

Qiita の例に倣って、次のサンプルプログラムを作成して確認する。

ま、まずい！
辞書の変更が反映されていない。
でも、一応動作確認はできたので、今日はここまでにしておこう。

追記

気を取り直して続きを書く。
Ubuntu のターミナルからは、前述の通り /etc/mecabrc を変更すれば辞書が切り替わるのだが、
Python からは MeCab.Tagger に -d オプションを指定して辞書のディレクトリを指定する必要がある。

なお、windows 上でのディレクトリ指定は次のようにする。
（C ドライブの直下に mecab-ipadic-neologd を作成し、そこに辞書をコピーしたものとする）

ディレクトリは windows の記法に則ることに注意願いたい。

おしまい！！

メモ

• Mecabで形態素解析：品詞分解する方法【Python】
• 【技術解説】形態素解析とは？MeCabインストール手順からPythonでの実行例まで