pikesaku’s blog

個人的な勉強メモです。記載内容について一切の責任は持ちません。

2017-07-01から1ヶ月間の記事一覧

Python統計学勉強会参加メモ

Jupiter Notebook 参考 jupyter.org インストール $ pip3 install --upgrade pip $ pip3 install jupiter 起動 $ jupyter notebook 上記コマンド実行後に出力されたTokenつきURLにアクセスする。 http://localhost:8888/?token=397ffd660a92ec8bc712d3f96385…

時系列データとは?

参考URL 時系列分析(前編)~「使ってみたくなる統計」シリーズ第5回~ | ビッグデータマガジン メモ&要約 時系列データとは? 時系列データとは「ある一定の間隔で測定された結果の集まり」 連続する2つのデータ間は直線的に変化すると仮定 時系列データは…

Jubaanomalyを使って不正ログイン検知

作ったプログラムは以下 ①make_test_data.py 学習データにするログイン記録データを生成するツール。 1行あたりのフォーマットは以下。 日時, 接続元IPアドレス オプションでログインソースの傾向を決められる。 本物のログイン記録になるっぽく少しいじって…

機械学習関係の勉強会メモ⑤

メモ pythonのscikit-learnの勉強家 今のAIサービスは、ほとんど教師ありで実現されている。 http://postd.cc.practical-machibe-learning-problems機械学習アルゴリズムとして以下があり。 ・回帰 ・決定木 ・SVM 回帰は、XからYを出力する規則をみつける手…

機械学習関係の勉強会メモ④

Tensor Flowユーザー会のプレゼン話のメモ テンサーフロー テンソルフロー2つの呼び方があり。 ユーザー会では多数決でテンソルフローとしたが、一般的にはテンサーフロー 平日夜の月1〜2回程開催されるミートアップに150名定員で400名ほどの申し込みあり。 …

機械学習関係の勉強会メモ③

GCP

GoogleのAI取り組み話のメモ DLは80層 Google Photos(スマホアプリ) 写真を自動ラベル付け Smart Reply(自動返信予測機能) Gmailで返信メッセージを予測し表示してくれる機能。 利用者は、メッセージを選択すれば入力不要DeepMind社のWaveNet 音を生成するニ…

機械学習関係の勉強会メモ②

Deep Learning(以降DLと記載)の代表的な使われ方 ①画像認識 ②自然言語処理 ③音声認識 全ての用途においてDLがベストではない。 Microsoft Cognitive Services 画像分析、音声認識、レコメンデーション等のAPIツールを提供 デモとしてCaptionBotがあり。 Capt…

機械学習関係の勉強会メモ①

人工知能キーワード 機械学習=Deep Learningではない。 人工知能の明確な定義はなし。言ったもん勝ち 機械学習イメージ 機械学習で必要な数学を学ぶためのオススメ参考書 http://www.mathema.jp/books/zemi_math.html 微分積分キャンパス・ゼミ 線形代数キャ…

今度読むこと!

qiita.com gihyo.jp hokuts.com

グラフデータベースNeo4j動作検証

参考URL グラフデータベース Neo4j(前編) | グラフデータベース Neo4j(後編) | www.creationline.com qiita.com ecpplus.net やってみる 路線図とかをインプットしてみて最短距離検索とかやる場合、どうやるのかな? と思っていたら、参考URLがあったので、や…

グラフデータベースNeo4jのクエリ言語Cypherの動作検証

参考URL www.creationline.com www.creationline.com qiita.com はじめに データ操作はCypherと呼ばれるクエリ言語を利用 Cypherは以下4つのIFより実行可能 ①Neo4jウェブインターフェー ②Neo4jシェル ③REST API ④Neo4jドライバー Cypher動作検証にNeo4jシェ…

グラフデータベースNeo4jのセットアップ

参考 moneyforward.comwww.creationline.com 環境構築 環境: Mac Sierra ①Javaインストール brew cask install java ②brewでNeo4jをインストール brew install neo4j やってみる ①shellからCypher実行するために設定ファイル変更 stackoverflow.com $ diff /…

データ構造としてのグラフとは?

グラフとは? ノードとエッジで表現するデータ型 ノードは頂点 エッジはノード間の連結関係を示す グラフ理論を適用できる mathtrain.jp グラフの数学的表現方法 以下の2つがあり。 ①隣接行列 以下URLより引用 隣接行列 — WTOPIA v1.0 documentation 行列とい…

pythonのcymruwhoisモジュールでIPアドレスからwhois情報取得

参考 pypi.python.orgAPI — cymruwhois v1.0 documentation 使い方が簡単 #! /usr/bin/env python3 # -*- coding: utf-8 -*- from cymruwhois import Client # 一個だけデータを取得する場合 c = Client() r = c.lookup('8.8.8.8') print('ANS: ' + r.asn) p…

jubatus anomalyのnum_rules動作検証(jubaanomalyにデータを投入するツール)

説明 jubaanomalyにデータを学習させたり、外れ値を計算させるツール。指定可能なオプションは以下の通り。 オプション 意味 -t num_rulesのタイプ(num or str or log)を指定。必須指定オプション -c データ学習前に既存データをクリアする。省略可能。デフ…

jubatus anomalyのnum_rules動作検証(テストデータ分布状況出力ツール)

説明 データを受けてヒストグラムとパイチャートを出力 一次元データのみ対応。 dist_disp.py # -*- coding: utf-8 -*- import matplotlib.pyplot as plt def make_pie_data(data): pie_data = dict() for i in data: pie_data[i] = data.count(i) return pi…

jubatus anomalyのnum_rules動作検証(テストデータ生成ツール)

説明 引数にデータ数、データのタイプ(以下参照)を指定し、データを生成するツール ・全部同じデータ ・一様分布 ・標準正規分布 ・正規分布(平均50、標準偏差15) make_data.py # -*- coding: utf-8 -*- import argparse import numpy as np parser = argpar…

jubatus anomalyのnum_rules動作検証

目的 jubatus anomalyのnum_rules(typeがstr or num or log)の違いによる動作確認をする。 num_rulesのtypeの説明 データ変換 — Jubatus上記URLによると以下の通り 値 意味 num 与えられた数値をそのまま重みに利用する。 str 与えられた数値を文字列として…

散布図とは?

参考 散布図 - Wikipedia kantan-shikaku.com 散布図とは? 縦軸、横軸に2つのデータを対応させ、データを点でプロットしたもの 二つのデータの相関関係をみつけるのに有用

Macでmatplotlibを使う

以下問題発生 $ cat ./test.py import numpy as np import matplotlib.pyplot as plt print("test") $ python ./test.py Traceback (most recent call last): File "./test.py", line 2, in <module> import matplotlib.pyplot as plt File "/Users/pike/.pyenv/vers</module>…

標準偏差について

参考URL atarimae.biz メモ 各データと平均の差異を標準化(平にする)したもの。 例) 試験結果のケースでは、各データは受験者のテスト点数 2乗を平方根で戻しているため、単位は同じ。 「平均-標準偏差〜平均+標準偏差」この間に多くのデータが含まれる 例) …

libvirtのネットワーク管理

libvirtは構成定義ファイルに従い、仮想ネットワークを作成する。 KVMインストールデフォルトの状態では、defaultネットワークが設定される。 これを手動で設定することで、どのようなに実現されているか理解する。 インストールデフォルトの状態 仮想ネット…

iproute2について

enakai00.hatenablog.com

Linuxのネットワークトラフィック制御コマンド

このへん面白そう。いつかやってみる。inokara.hateblo.jp alpha-netzilla.blogspot.jp