pikesaku’s blog

個人的なプログラム勉強メモです。記載内容について一切の責任は持ちません。

OpenStack Ironic調査メモ

news.mynavi.jp OpenStack Ironicを動かしてみました Part1 - テックセンター - Blog - テックセンター - Dell コミュニティ OpenStack Ironicを動かしてみました Part2 - テックセンター - Blog - テックセンター - Dell コミュニティ OpenStack Ironicによ…

詳解ディープラーニングを読んで(必要な数学知識-微分編)

読んだ本 Amazon CAPTCHA DeepLearningに必要な数学知識 偏微分 線形対数 まず微分とは? y = f(x) fという関数がある時、xの各点における傾きを示す関数を導くことを「微分する」という。 傾きを示す関数を「導関数」or「微分」という。 導関数により値がゆ…

ロジカルシンキングについてメモ

参考 Amazon CAPTCHA 相手に物事を伝える時 以下を含めること ・明快な課題 ・課題に対する回答 ・相手に期待する反応※「自分はこう考える」はダメ。相手にどう伝わるか意識する。

Python統計学勉強会参加メモ

Jupiter Notebook 参考 jupyter.org インストール $ pip3 install --upgrade pip $ pip3 install jupiter 起動 $ jupyter notebook 上記コマンド実行後に出力されたTokenつきURLにアクセスする。 http://localhost:8888/?token=397ffd660a92ec8bc712d3f96385…

時系列データとは?

参考URL 時系列分析(前編)~「使ってみたくなる統計」シリーズ第5回~ | ビッグデータマガジン メモ&要約 時系列データとは? 時系列データとは「ある一定の間隔で測定された結果の集まり」 連続する2つのデータ間は直線的に変化すると仮定 時系列データは…

Jubaanomalyを使って不正ログイン検知

作ったプログラムは以下 ①make_test_data.py 学習データにするログイン記録データを生成するツール。 1行あたりのフォーマットは以下。 日時, 接続元IPアドレス オプションでログインソースの傾向を決められる。 本物のログイン記録になるっぽく少しいじって…

機械学習関係の勉強会メモ⑤

メモ pythonのscikit-learnの勉強家 今のAIサービスは、ほとんど教師ありで実現されている。 http://postd.cc.practical-machibe-learning-problems機械学習アルゴリズムとして以下があり。 ・回帰 ・決定木 ・SVM 回帰は、XからYを出力する規則をみつける手…

機械学習関係の勉強会メモ④

Tensor Flowユーザー会のプレゼン話のメモ テンサーフロー テンソルフロー2つの呼び方があり。 ユーザー会では多数決でテンソルフローとしたが、一般的にはテンサーフロー 平日夜の月1〜2回程開催されるミートアップに150名定員で400名ほどの申し込みあり。 …

機械学習関係の勉強会メモ③

GoogleのAI取り組み話のメモ DLは80層 Google Photos(スマホアプリ) 写真を自動ラベル付け Smart Reply(自動返信予測機能) Gmailで返信メッセージを予測し表示してくれる機能。 利用者は、メッセージを選択すれば入力不要DeepMind社のWaveNet 音を生成するニ…

機械学習関係の勉強会メモ②

Deep Learning(以降DLと記載)の代表的な使われ方 ①画像認識 ②自然言語処理 ③音声認識 全ての用途においてDLがベストではない。 Microsoft Cognitive Services 画像分析、音声認識、レコメンデーション等のAPIツールを提供 デモとしてCaptionBotがあり。 Capt…

機械学習関係の勉強会メモ①

人工知能キーワード 機械学習=Deep Learningではない。 人工知能の明確な定義はなし。言ったもん勝ち 機械学習イメージ 機械学習で必要な数学を学ぶためのオススメ参考書 http://www.mathema.jp/books/zemi_math.html 微分積分キャンパス・ゼミ 線形代数キャ…

今度読むこと!

qiita.com gihyo.jp hokuts.com

グラフデータベースNeo4j動作検証

参考URL グラフデータベース Neo4j(前編) | グラフデータベース Neo4j(後編) | www.creationline.com qiita.com ecpplus.net やってみる 路線図とかをインプットしてみて最短距離検索とかやる場合、どうやるのかな? と思っていたら、参考URLがあったので、や…

グラフデータベースNeo4jのクエリ言語Cypherの動作検証

参考URL www.creationline.com www.creationline.com qiita.com はじめに データ操作はCypherと呼ばれるクエリ言語を利用 Cypherは以下4つのIFより実行可能 ①Neo4jウェブインターフェー ②Neo4jシェル ③REST API ④Neo4jドライバー Cypher動作検証にNeo4jシェ…

グラフデータベースNeo4jのセットアップ

参考 moneyforward.comwww.creationline.com 環境構築 環境: Mac Sierra ①Javaインストール brew cask install java ②brewでNeo4jをインストール brew install neo4j やってみる ①shellからCypher実行するために設定ファイル変更 stackoverflow.com $ diff /…

データ構造としてのグラフとは?

グラフとは? ノードとエッジで表現するデータ型 ノードは頂点 エッジはノード間の連結関係を示す グラフ理論を適用できる mathtrain.jp グラフの数学的表現方法 以下の2つがあり。 ①隣接行列 以下URLより引用 隣接行列 — WTOPIA v1.0 documentation 行列とい…

pythonのcymruwhoisモジュールでIPアドレスからwhois情報取得

参考 pypi.python.orgAPI — cymruwhois v1.0 documentation 使い方が簡単 #! /usr/bin/env python3 # -*- coding: utf-8 -*- from cymruwhois import Client # 一個だけデータを取得する場合 c = Client() r = c.lookup('8.8.8.8') print('ANS: ' + r.asn) p…

jubatus anomalyのnum_rules動作検証(jubaanomalyにデータを投入するツール)

説明 jubaanomalyにデータを学習させたり、外れ値を計算させるツール。指定可能なオプションは以下の通り。 オプション 意味 -t num_rulesのタイプ(num or str or log)を指定。必須指定オプション -c データ学習前に既存データをクリアする。省略可能。デフ…

jubatus anomalyのnum_rules動作検証(テストデータ分布状況出力ツール)

説明 データを受けてヒストグラムとパイチャートを出力 一次元データのみ対応。 dist_disp.py # -*- coding: utf-8 -*- import matplotlib.pyplot as plt def make_pie_data(data): pie_data = dict() for i in data: pie_data[i] = data.count(i) return pi…

jubatus anomalyのnum_rules動作検証(テストデータ生成ツール)

説明 引数にデータ数、データのタイプ(以下参照)を指定し、データを生成するツール ・全部同じデータ ・一様分布 ・標準正規分布 ・正規分布(平均50、標準偏差15) make_data.py # -*- coding: utf-8 -*- import argparse import numpy as np parser = argpar…

jubatus anomalyのnum_rules動作検証

目的 jubatus anomalyのnum_rules(typeがstr or num or log)の違いによる動作確認をする。 num_rulesのtypeの説明 データ変換 — Jubatus上記URLによると以下の通り 値 意味 num 与えられた数値をそのまま重みに利用する。 str 与えられた数値を文字列として…

散布図とは?

参考 散布図 - Wikipedia kantan-shikaku.com 散布図とは? 縦軸、横軸に2つのデータを対応させ、データを点でプロットしたもの 二つのデータの相関関係をみつけるのに有用

Macでmatplotlibを使う

以下問題発生 $ cat ./test.py import numpy as np import matplotlib.pyplot as plt print("test") $ python ./test.py Traceback (most recent call last): File "./test.py", line 2, in <module> import matplotlib.pyplot as plt File "/Users/pike/.pyenv/vers</module>…

標準偏差について

参考URL atarimae.biz メモ 各データと平均の差異を標準化(平にする)したもの。 例) 試験結果のケースでは、各データは受験者のテスト点数 2乗を平方根で戻しているため、単位は同じ。 「平均-標準偏差〜平均+標準偏差」この間に多くのデータが含まれる 例) …

libvirtのネットワーク管理

libvirtは構成定義ファイルに従い、仮想ネットワークを作成する。 KVMインストールデフォルトの状態では、defaultネットワークが設定される。 これを手動で設定することで、どのようなに実現されているか理解する。 インストールデフォルトの状態 仮想ネット…

iproute2について

enakai00.hatenablog.com

Linuxのネットワークトラフィック制御コマンド

このへん面白そう。いつかやってみる。inokara.hateblo.jp alpha-netzilla.blogspot.jp

iptablesのルール最大数関連のメモ

internetlifeforum.com support.cloudflare.com

KVMコマンドメモ

VMを接続するNWの一覧出力 # virsh net-list --all ネットワークの削除

自宅KVM環境構築メモ

参考URL https://access.redhat.com/documentation/ja-JP/Red_Hat_Enterprise_Linux/7/pdf/Virtualization_Deployment_and_Administration_Guide/Red_Hat_Enterprise_Linux-7-Virtualization_Deployment_and_Administration_Guide-ja-JP.pdf 作業 1.CentOS7.…

Ubuntuパッケージ管理メモ

RPM dpkg 変換表 – まつぼ x Web [Ubuntu] apt-get まとめ - Qiita

OpenStackエラーログ調査

目的 OpenStackのエラーログを、こつこつ原因調査してみる。 環境 Centos7 OpenStafck Ocata 1NICだけのホスト 事象 /var/log/neutron/linuxbridge-agent.log 上記ログファイルに、以下のエラーログが2秒に1回出力される。 再起動しても解消されない。 2017-…

OpenStack調査メモ

参考URL Memcached そもそもMemcachedとは? 第1回 memcachedの基本:memcachedを知り尽くす|gihyo.jp … 技術評論社データをキャッシュする。メモリを利用。 Webアプリなどで一時的なデータを格納される。停止するとデータは消える。OpenStackの各コンポーネ…

VMwaer NSXのハンズオンラボメモ(HOL-1703-SDC-1- JA NSX Edge サービスゲートウェイ)

参考URL VMware NSX Hands-on Labs VMware NSX for vSphere 6.2 Documentation Center メモ ・外部NWとの境界につなげて各種機能を提供。 ・外部NWのRouterとルーティング情報を交換する。 仮想化内ネットワーク情報を外部NWのRouterに伝播され、外部NWから…

VMwaer NSXのハンズオンラボメモ(HOL-1703-SDC-1- JA 論理ルーティング)

参考URL VMware NSX Hands-on Labs VMware NSX for vSphere 6.2 Documentation Center メモ ・論理ルーティングはEast-West通信を最適化する機能 ・ヘアピン問題を解消。 同一ホスト上の異なるNWに接続されたVMが通信をする際、ルーター(ESG)動作中のホスト…

VMwaer NSXのハンズオンラボメモ(HOL-1703-SDC-1- JA 論理スイッチ)

参考URL VMware NSX Hands-on Labs VMware NSX for vSphere 6.2 Documentation Center メモ ・ホストサーバで論理スイッチ(以後LS)構成済みでも、分散仮想スイッチ(以後vDS)のポートグループに仮想マシン(以後VM)を接続しただけなら、NSXなし環境と同じ動き…

VMwaer NSXのハンズオンラボメモ(HOL-1703-SDC-1- JA NSX Manager インストールと設定)

参考URL VMware NSX Hands-on Labs VMware NSX for vSphere 6.2 Documentation Center メモ 事前に分散仮想スイッチ環境が必要 NSXマネージャー、コントローラは管理NWに接続 NSXコントローラは3台以上の奇数構成が推奨(冗長化の仕組み的に) 論理スイッチを…

OpenStackメモ

novaのプロセス説明 OpenStack Docs: Compute service overview

Amazon Lexをやってみた

参考URL Amazon Lex (音声やテキストを使用した会話型インターフェイスを構築) | AWS Amazon Alexaの基礎知識 | Developers.IO Alexaを支える技術Amazon Lexが開発者に開放された | TechCrunch Japan Amazon Lexとは? ・Amazon Deep Learning技術による自…

Pythonの関数デコレータについて

参考 Pythonのデコレータを理解するための12Step - Qiita https://www.amazon.co.jp/パーフェクトPython-PERFECT-5-Pythonサポーターズ/dp/477415539X Pythonのデコレータを理解するときに残したメモ - kk6のメモ帳* デコレータの使いどころ - Qiita 関数デ…

Pythonのlambda式について

参考 Pythonのlambda式(無名関数)の使い方 | UX MILK Pythonの無名関数(lambda)の使い方 - Life with Python lambda式とは? 無名関数を記述する方法 無名関数とは? ・関数宣言をせずに使える関数 ・一度だけしか使われない使い捨ての関数。名前をつける…

Pycharm使い方メモ

vimのキーバインドにする PyCharmでvimを使う - yukofebの日記いい感じ! 他便利な使い方 最強のPython統合開発環境PyCharm - Qiita 検索機能 command + o クラス検索 command + shift + o ファイル検索 command + option + o シンボル検索 コード実行 contr…

Pythonネットワークプログラミング勉強コード

簡易tcpサーバ 動作 ・受信データを16進数でクライアントに返す。 ・接続開始、終了情報をサーバ側コンソールに出力する。 コード # -*- coding: utf-8 -*- import sys import socket import threading CS = 'utf-8' PORT = sys.argv[1] # PORTはstr型(Pytho…

ファイルを指定した行数で分割するコマンド

splitってコマンドがある 動きはこんな感じ $ seq 100 > ./all.txt && split -l 30 -d ./all.txt bunkatsu_ $ wc -l ./bunkatsu* 30 ./bunkatsu_00 30 ./bunkatsu_01 30 ./bunkatsu_02 10 ./bunkatsu_03 100 合計 $ ・第一引数は入力ファイル ・第二引数は出…

muttでメール送信

使い方 echo "MESSAGE" | mutt [OPTION] 宛先アドレス mailコマンドと似た感じで使える 参考 man mutt(1) man muttrc(5) 件名設定 $ echo test | mutt -s 'test' root@example.com MTA指定 $ echo test | mutt -e 'set smtp_url="smtp://127.0.0.1:25"' root…

Pythonのネットワークプラグラミング

参考 https://www.amazon.co.jp/サイバーセキュリティプログラミング-―Pythonで学ぶハッカーの思考-Justin-Seitz/dp/4873117313 netcatもどき(作成中) # -*- coding: utf-8 -*- import sys import socket import getopt import threading import subprocess …

Pythonのジェネレータ関数

参考 https://www.amazon.co.jp/パーフェクトPython-PERFECT-5-Pythonサポーターズ/dp/477415539X ジェネレータ関数とは? ジェネレータオブジェクトを生成する関数 ジェネレータオブジェクトはイテレータ処理(データを順番に処理)をする機能を持つ オブジェ…

Pythonのglobalとnonlocal宣言

参考 https://www.amazon.co.jp/パーフェクトPython-PERFECT-5-Pythonサポーターズ/dp/477415539X global宣言 グローバル変数を関数内で参照できるが、データ変更しても、新しいローカル変数が定義された状態になる。(もしくはUnboundLocalError例外) global…

Pythonの関数(引数の指定方法)

参考 https://www.amazon.co.jp/パーフェクトPython-PERFECT-5-Pythonサポーターズ/dp/477415539X キーワード引数 引数に名前をつけて渡す。順番が関係なくなる。 >>> def hoge(a1, a2, a3): ... print(a1,a2,a3) ... >>> hoge(1,2,3) 1 2 3 >>> hoge(a3=1,a…

Pythonの内包表記

参考 https://www.amazon.co.jp/パーフェクトPython-PERFECT-5-Pythonサポーターズ/dp/477415539X リスト >>> a = [ x**2 for x in range(1,11)] >>> a [1, 4, 9, 16, 25, 36, 49, 64, 81, 100] >>> ※rangeの2個目の引数は終了点。range(1,11)1は1〜10 セッ…