WindowsのPATHを';'で改行して表示する1-liner
Windowsで、文字の置換を利用したPATHの整形表示が1行コマンドでできることがわかったので備忘録として記録しておく。 PATH中...
Xgboost の train で callback を利用する
Xgboost の train のラウンドごとに 関数を呼び出すための callbacks の利用法を備忘録として残しておく。 Callb...
Ubuntuでdask-xgboost の例を動作させる
主記憶メモリに収まりきらないデータの教師あり学習ができるようにするライブラリを調査している。XGBoostを利用できる vaex を調べてき...
Colabのノートブックをダウンロードしてローカルで開くとエラーが出る
Google Colaboratoryで作成したNotebookを.ipynb ファイルとしてダウンロードして、ローカルのJupyter N...
Anacondaの特定の環境でのJupyter Notebook の初期ディレクトリを設定する
Anacoda Navigatorから 環境を選んで Jupyter Notebook を起動していたが、初期化のためのConfig fil...
vaex.example のエラー解消
vaex.example() を実行するとダウンロードのエラーになるのをとりあえず解消する方法。 GitHub の記載に基づいて、下...
vaexのdataframeのcolumnとrowの数による性能の違いの調査
手元のデータで特徴量の次元が10万超えのものがあり、vaexを使ってみたが、速く感じられない。そこで、dataframeの columnとr...
vaexをColab経由のGCPで試す
vaex による大容量データ処理を Google Colaboratoryを経由してGoogle Cloud Platform (GCP) ...
Google ColaboratoryからGoogle Driveの大容量データアクセス
「vaex を Google Colaboratoryで試す」のようにGoogle Colabでvaexを試していたが、同じjupyter ...
vaex を Google Colaboratoryで試す
Colaboratory の主記憶不足で処理できないデータがある。DataFrameのキャッシュライブラリのようなものを作ればディスクを利用...