Anacondaもpyenv|venvも使わずにPythonのデータ分析環境を構築する (macOS)

最近、データ分析の関係で少しPythonを使うようになったので、改めて環境構築について考えてみた。

ネット上の情報を漁ってみると概ねAnaconda一択というのが最近のトレンドの様子。確かにWindowsならAnaconda一択だろうし、自分自身、色々と説明するのが面倒だから、初心者に教えるときはとりあえずAnaconda入れておけと言ってしまう。

とはいえ、モジュールのインストールにはpipがあるし、仮想環境を使いたいならvenvを使ってしまえばいい。そもそも、今どき開発目的であればdockerなりvagrantなりを使って丸ごと分離してしまう方が筋が良く、データ分析用途であれば手元に最新のPython3環境があれば事足りる。MacでAnacondaを入れようとするとシステムPythonやHomebrew Pythonとの衝突を気にする必要があって、その解決のためにpyenvを入れてみたりと、物事を余計に複雑にしているような気がしないでもない。

ということで、生Pythonを使ってnumpy、pandas、Jupyterのような基本的なデータ分析環境をmacOS上に構築してみた。生Pythonとは言ってもシステムPythonは触りたくないし、グローバル環境もみだりにいじりたくはない。そういった条件で環境を構築したときに、現代的にはどの程度作業をsimplifyできるだろうか、というのがこの記事のモチベーション。

続きを読む

スポンサーサイト



OpenSSLでオレオレ認証局(CA)とオレオレ証明書を作る

OpenSSLを使って久しぶりにオレオレ認証局(CA)を立ち上げようと思ったら方法を完全に忘れていて苦労したので、整理してメモ。方法を検索すると、CA.plを使ったり使わなかったり、CA.shを使ってみたり、openssl.cnfを編集したりしなかったりと、いろいろ流儀があるようなので、その辺も含めて整理する。なお、環境はMac、OpenSSLは0.9.8系。

公開鍵証明書発行の手順

まずはおさらい。公開鍵証明書を発行する手順は次のようになる。

  1. 証明書のユーザーは、秘密鍵を生成する。コマンドで言えば、openssl genrsa -aes128 -out newkey.pem 2048など。
  2. 証明書のユーザーは、生成した秘密鍵を使って証明書署名要求(CSR; certificate signing request)を生成する。コマンドで言えば、openssl req -new -key newkey.pem -out newreq.pemなど。
  3. 証明書のユーザーは、生成した証明書署名要求を認証局(CA; Certificate Authority)へ送信する。
  4. 認証局は、受信した証明書署名要求に自らの秘密鍵で署名し、公開鍵証明書を生成する。コマンドで言えば、openssl x509 -req -CA ca.pem -in newreq.pem -out newcert.pemやopenssl ca ...など(詳細は後述)。
  5. 認証局は、生成した公開鍵証明書を証明書のユーザーに送信する。

「なぜこんなに面倒なのか。CAが秘密鍵と公開鍵証明書のペアを生成してユーザーに送ればいいじゃないか。」と言いたくなるが、これは鍵配送問題に対処するため。秘密鍵を送るためには暗号化通信が必要で、そのためには秘密鍵が必要で、その秘密鍵を送るためには(以下略)となってしまうため、秘密情報であるユーザー・認証局それぞれの秘密鍵はそれぞれのマシンの外に出ない仕組みになっている。ユーザーと認証局の間の通信経路がたとえ傍受されていても秘密鍵は流出しない。

もちろん、認証局を使わずに自己署名のオレオレ証明書を生成するだけだったら、openssl req -new -x509 -keyout newkey.pem -out newcert.pemなどのコマンドで簡単にできる。今回はオレオレ認証局を立てたうえで、その認証局で署名したオレオレ証明書を濫発することが目的なので、面倒だけど認証局を立ち上げる。

続きを読む

コマンドの結果を画面とパイプの両方に渡す方法

コマンドの結果を画面とパイプの両方に流す方法をいくつか調べたのでメモ。

やりたいのは、以下のような処理でpbcopyに渡った標準出力を、画面からも確認すること。

find . -type f | pbcopy

なお、pbcopyは標準入力をクリップボードに送るOS Xのコマンド。

続きを読む

KeeperでKeePass 2.xのファイルを読むためのXSLファイルを更新しました

Keeperを使ってKeePass 2.xのデータをiPhoneで読む / LiosK-free Blog

KeePassのエクスポート画面 (File -> Export) を起動したら、↑の図のようにFormatにTransform using XSL Stylesheetを選び、エクスポートするファイル名としてkeeper.txtを指定します。

iPhoneで使っていたKeeperがいつのまにかカスタムフィールドに対応していたので、KeePassファイルのエクスポートに使うXSLスタイルシートを修正しました。

カスタムフィールドのkey-valueペアはJSONオブジェクトの配列として第7カラムに収まる仕様になったようなので、今まではメモ欄にまとめられていたKeePassのカスタムフィールドを一部JSON化して放り込むように改良しました。

続きを読む

JavaScriptでJIS丸め

前回、ExcelでJIS丸め等々を実装したので、余勢を駆ってJavaScriptでも実装したのでメモ。

ECMAScriptの仕様書によると、JavaScriptのMath.floor(), Math.ceil(), Math.round()は負の無限大(-∞)や正の無限大(+∞)に丸める実装になっているので、ゼロに近づける一般的な切り捨て、ゼロから遠ざかる一般的な切り上げ、ゼロから遠ざける一般的な四捨五入もメモ。

続きを読む