pyhtonを入れたらとりあえず入れるライブラリ
PCをクリーンインストールしたので、よく使うライブラリをまとめた。
anacondaとかでまとめて入れてもいいけど、いちから入れたほうが最小限で済むので好き。
個人的なメモ。
sqlite3
slite(DB)に接続、操作する用のライブラリ。
ちょっとした、スタンドアロンのアプリとか、軽いスクレイピングデータ保存するときとかに使う。
sqliteは並列処理に弱いため、スクレイピング処理が遅くて並列処理にしようと思ってsqliteを使っていると、
DBごと変更せざるおえなくなる。
あくまで、ちょっとしたものを作るときに使う。
sqliteはデータを単一ファイルで持っているのでいろいろ手軽。
pip install sqlite3
psycopg2
postgresql(DB)に接続、操作するようのライブラリ。
sqliteで物足りないときに使う。
使い方はsqlite3とほぼ同じなので、移行しやすい。
pip install psycopg2
tqdm
プログラムの進捗をプログレスバーで表示してくれる。
超手軽にプログレスバーをつけてくれる、開発時にとりあえずfor文につけておくと便利。
pip install tqdm
line_profiler
プログラムの時間がかかる個所を分析するライブラリ。
関数にアノテーションをつけるだけで使える。
pip install line_profiler
joblib
並列化用ライブラリ。
高速化のために色々試みたけど、どうにもならんってときは並列化が手っ取り速い。
並列化ライブラリの中ではとても簡単にかける。
pip install joblib
requests
HTTPリクエストを返してくれるライブラリ。
スクレイピング、クローリングには必須。
デフォで入ってるurllibより簡単に短く書ける。
セッション管理もできるので、ログインするサイトとかにも使える超万能。
pip install requests
beautifulsoup4
HTTPリクエストからほしい要素だけを抜け出してくれる。
requestsとセットで使う。
スクレイピング、クローリングには必須。
pip install beautifulsoup4
selenium
requestsだとjavascriptのレンダリングまでしてくれないのでその時に使う。
後webブラウザの自動化をしたいときに使用。
自動化するブラウザはchroniumが良い。
ただし、javascriptのレンダリングだけならSplash使うとよさそうだと思う。
pip install selenium
tensorflow
機械学習用のライブラリ。
windowsだとpython3.5の64bitじゃないと動かないので注意。
googleが開発しているので今後も伸びていくだろう。
pip install tensorflow
keras
tensorflowを簡単に使えるラッパーライブラリ。
kerasはjavascriptやらjavaやらでも使える。
機械学習=pythonだと思っていたけど、今はどんな言語でも簡単にできるようになった。
pip install keras
pandas
データ構造という形式で配列の操作ができるライブラリ。
私はmatplotlibでデータを可視化するときぐらいしか使ってない。
pip install pandas
matplotlib
データをグラフ表示するライブラリ。
pandasと一緒に使う。
pip install matplotlib
codecs
txt、csvファイル操作用ライブラリ。
デフォでも入っているが、こっちのほうが文字コードに強い。
UnicodeErrorにあいたくないならこっちを使ったほうがいい。
pip install codecs
flask
ウェブアプリのフレームワークライブラリ。
1分でローカル環境でハローワールドできる手軽さが最高。
あとラインのapi使うときとかに重宝する。
pip install flask
line-bot-sdk
ラインのapiを使うためのライブラリ。
flaskと一緒に使うと手軽。
ラインボット作るときに使った。
pip install line-bot-sdk
作ったシステムのログをtwitterで吐くのに使ってる。
pip install twitter
google-api-python-client
googleapiは多岐にわたるgoogleの様々な機能をapiを介して使用できる。
ただ、googleapiはほとんどの機能が有料でしかも高い。
無料で使うなら機能は結構制限される。
pip install google-api-python-client
PyDrive
googleapiのgoogledriveを操作するラッパー。
サーバー間のデータのやり取りならftpを使うよりこっちのほうが手軽にできるし、
同時にバックアップも取れるし、一石二鳥。
pip install PyDrive
