ysaz (ImanazaS) blog

最近はデータ分析や機械学習が中心。たまに音楽や書評。

機械学習モデルによる予測結果の解釈(Shap値の使い方)

なぜ予測結果の解釈が必要か 機械学習というか広義のAIは、予測や認識を高い精度で実施することは得意です。 しかし、その演算過程がブラックボックスになりがちで、人間がその結果の背景にある根拠や判断理由を理解することが困難という課題が存在します。…

機械学習に関する、読んだ/読みかけの論文集

Deep Learningに関する無料のオンライン学習コンテンツ、fast.aiを受講して以来、理解ができるかどうかはさておき、重要な論文にも目を通すよう心がけています。 出典:DeepLearning-Lec8-Notes学生時代の専攻が化学系だった自分にとって、馴染みの薄いアル…

機械学習モデルのBlendingに対する重みの最適化手法について

アンサンブル学習 Blendingに対する重みの最適化事例 様々な最適化手法 まとめ Kaggleなどの機械学習コンペにおいて、複数のモデルを平均等により組み合わせることで、新たな推論結果を作る手法(blendingと呼ばれる)があります。 平均を取る際にモデルの重…

Dive Into Deep Learning

UCバークレーの講義から派生したプロジェクトとして、「Dive Into Deep Learning(通称 D2L)」の執筆が進められているようです。d2l.aiちらっと覗いてみましたが、数式だけでなく、コードや図を使ってわかりやすいものに仕上げていくという姿勢が感じられま…

Jupyter NotebookからJupyterLabへの移行

Jupyter Notebookにはその前身のIpython Notebook時代からお世話になっています。 そのJupyter Notebookの後継と言われるJupyterLabを今更ながらインストールし、少し試してみました。 JupyterLabとはなんぞや では、なぜ今なのか 使ってみた感想 IDEとして…

プログラミング教育ブームについて感じること

プログラミング教育ブームの到来 プログラミング教育に対する(ありがちな?)勘違い プログラミング教育に対する批判や課題 プログラミング教育ブームの到来 2020年度から小学校でのプログラミング教育が必修化されるといいます。 プログラミング教育:文部…

Pythonで実行した処理の終了を通知してくれるツール

大規模データの処理やら機械学習やらで、演算に時間がかかるときがあります。 放ったらかしにしつつも、都度パソコンの前まで行って進捗を確認するのが面倒で、なんとかできないかと思っていたところ、以下の記事を見つけました。 時間のかかるデータ処理や…

(続)Pandasでのデータ集計

以前に以下の記事でPythonのPandasライブラリを使った集計方法をまとめていた。 nami3373.hatenablog.com今になって、これよりもシンプルなやり方に気づいたのでメモ。 import pandas as pd # データフレームを適当に作成 df = pd.DataFrame(data=[('2016-04…

カテゴリカル変数のEncoding手法について

Structured Data(構造化データ)の下処理をおこなう際に避けて通れないのがFeature Engineering(特徴量エンジニアリング)。 特に悩ましいのがカテゴリ変数の扱いで、どのように扱えば良いか困ることが多く、また、使った手法もすぐに忘れてしまいがちなの…

機械学習や人工知能、AI関連分野を取り巻く情勢

機械学習や人工知能、AI関連の記事で気になったものをピックアップし、Google Keepにメモする習慣をつけている。 メモに残す記事の数はだいたい一日2、3件。 (日本語英語問わずチェックしているが、ひと目見た時の情報量の多さから、日本語記事をメモに残し…

ブログを綴るということ

去年取り組んでいたDeep LearningのMOOC (Massive Online Open Course) 、Fast.ai。fast.ai · Making neural nets uncool againここではDeep Learningの概念や実装上の具体的な手法を学ぶとともに、学習を続けていく上でのマインドセットも鍛えられた。(ち…

メモツールについて

Evernoteが1年半ほど前に無料版で2台までと利用が制限されてしまって以来、 しっくりくるメモアプリ探しを続けている。 ツールはあくまでツール。当たり前だけども何をやりたいのかを明確にすることは必要。 そもそもメモアプリの機能は淘汰されたり、サー…

再現率と適合率

検索システムや検査などの識別問題でよく使われる「再現率」と「適合率」。 教科書に書かれている説明でなんとなく理解はしているものの、ふと思い出そうとしたときにどっちがどっちだったか曖昧になることが多い。 そこで、理解を深めることを目的に、わか…

Floydhubのセットアップから基本的な使い方まで

前回の投稿で、FloydHubというクラウドサービスへたどり着き、GPUを試すようになるまでの過程を綴ってみた。nami3373.hatenablog.com今回は、FloydHubの利用方法について、簡単にまとめてみた。 セットアップの流れ ローカル上でのプロジェクトソースコード…

Deep LearningとGPU環境

ちょっと前からfast.aiの提供するディープラーニングのオンラインコース、「Practical Deep Learning For Coders」に取り組んでいる。course.fast.aiこのコースでは定番の犬猫分類などを扱ったりするのだが、私は手持ちのMacBook Pro上でプログラムを走らせ…

Chromebookは今後盛り上がるのか?

Chromebookを購入してからおよそ半年が経つが、動作の軽さ、電池のもち、キーボード付属といった点から使い勝手がよく、2〜3万円で買える端末としては十分だと感じている。nami3373.hatenablog.com しかし、日本語でChromebookについて書いている記事やブ…

グーグルに学ぶディープラーニング

少し前に読了した「グーグルに学ぶディープラーニング」。 分量はさほど多くなくさらっと読んでしまった本なので、あまり頭に残っていないのではと危惧し、振り返ってみることにした。グーグルに学ぶディープラーニング作者: 日経ビッグデータ出版社/メーカ…

人工知能ブームを捉えてみる

最近、やたらとAI、人工知能というキーワードが流行っており、ニュース記事や雑誌でもその文字を目にすることが多くなっている。まさにブーム。専門家の方々によると、今のブームは第三次ブームということらしい。僕は人工知能の研究者でもなんでもないが、…

プログラミングを学ぶ上で心がけるべきこと

多少入門書を読んだり、CourseraをはじめとするMOOC (Massive Open Online Course) を履修したりして学んではきたが、ここでは、プログラミング(python)初心者として読んでよかった本・受講してよかったコースの紹介ではなく、僕が重要だと感じた心構えや…

30才から向き合うプログラミング

プログラミングを学ぶことを通じて論理的思考が鍛えられたり、問題解決力が身についたりと、現代社会において、プログラミングは英語と並ぶくらい有用なスキルとして注目されている。当然早くからスタートするほうがより定着するだろうということで、プログ…

日本でのタトゥー(入れ墨)の是非

海外(アメリカやオーストラリア)で暮らしていると、腕や脚からタトゥー丸出しな人たちをよく見かける。 子どもをよく連れて行く公営の温水プールでも、タトゥーを隠すことなく水着を身につけ、子どもと楽しそうに遊んでいる親御さんというのはごく自然だ。…

ChromebookへUbuntu Linuxをインストールする

前回の記事でChromebook導入の経緯と、現在までの使用感についてまとめてみた。 nami3373.hatenablog.com 今回は、これまで何度か手こずってきた、Ubuntuをインストールして動かすところまでの作業を振り返ってみる。 大まかに、作業としてやることは次の4…

Chromebookを導入して

Chromebookを手に入れて3ヶ月近く経ったが、重宝しておりとても良い買い物をしたと感じている。 購入した機種はこれ。 ASUS C201 11.6 Inch Chromebookホワイト&ライトブルー [並行輸入品] 出版社/メーカー: Asus メディア: この商品を含むブログを見る ち…

諦める力

Amazonの「Kindle Unlimited」というサービス(所定の本、コミック、雑誌、洋書が読み放題)を無料体験中で、いろいろと漁っていたところ、元陸上選手の為末大さんが書いた「諦める力」という本に出会い、読んでみた。 諦める力?勝てないのは努力が足りない…

日本への一時帰国 その2

年末年始の一時滞在中に感じたことのまとめ。 ・電車とホームの間に段差があり、小さな車輪のベビーカーでは乗り降りがしにくい。 ・マスク率の高さ。電車乗客の1割くらいがマスクしてる風景は少し異様。 ・外で「すみません」を使う頻度が高い。とりあえず…

七月二十六日のこと(アイスランド)

2年前(2014年)の旅行記で、ほとんど記憶が薄れてしまっているけれど、せっかく途中まで下書きをしていたので、記事として形にしておこうというのが趣旨。 ============================================= この日は朝からゴールデン・サークルツアーに出か…

日本への一時帰国

久しぶりに日本へ一時帰国して感じたこと。 ・エレベーターに乗ったとき、Ground Floorがなくてちょっと戸惑う。・エレベーターのドアが開くときに、「こちらのドアが開きます」というアナウンスが流れると、どっちやねんと突っ込みたくなる。・通勤ラッシュ…

Pythonを使ったRFM分析

今回はこれまでと趣向を変えて、サンプルデータを使った分析手法(RFM分析)について取り上げる。RFM分析は、Recency(直近)、Frequency(頻度)、Monetary(購入額)の略であり、マーケティングの分野において、顧客をグループ化した上で優良顧客を抽出し…

Pandasを使った行列のセレクティングについて

pandasでのiloc[行, 列]を使った操作に関する備忘録。 特定のデータを行あるいは列から抜き出して表示したり、違う数値へ置き換えたりする方法について記す。 import numpy as np import pandas as pd # データフレームの作成 df = pd.DataFrame(data= [('20…

Pandasでの複数ファイル読み込み

指定したフォルダ内に格納されている複数のファイルを読み込み、データフレームを作成する方法についての備忘録。 # 必要なパッケージの読み込み import pandas as pd import numpy as np from datetime import date, datetime, timedelta import time impor…