pikesaku’s blog

個人的なプログラム勉強メモです。記載内容について一切の責任は持ちません。

機械学習関係の勉強会メモ②

Deep Learning(以降DLと記載)の代表的な使われ方 ①画像認識 ②自然言語処理 ③音声認識 全ての用途においてDLがベストではない。 Microsoft Cognitive Services 画像分析、音声認識、レコメンデーション等のAPIツールを提供 デモとしてCaptionBotがあり。 Capt…

機械学習関係の勉強会メモ①

人工知能キーワード 機械学習=Deep Learningではない。 人工知能の明確な定義はなし。言ったもん勝ち 機械学習イメージ 機械学習で必要な数学を学ぶためのオススメ参考書 http://www.mathema.jp/books/zemi_math.html 微分積分キャンパス・ゼミ 線形代数キャ…

今度読むこと!

qiita.com gihyo.jp hokuts.com

グラフデータベースNeo4j動作検証

参考URL グラフデータベース Neo4j(前編) | グラフデータベース Neo4j(後編) | www.creationline.com qiita.com ecpplus.net やってみる 路線図とかをインプットしてみて最短距離検索とかやる場合、どうやるのかな? と思っていたら、参考URLがあったので、や…

グラフデータベースNeo4jのクエリ言語Cypherの動作検証

参考URL www.creationline.com www.creationline.com qiita.com はじめに データ操作はCypherと呼ばれるクエリ言語を利用 Cypherは以下4つのIFより実行可能 ①Neo4jウェブインターフェー ②Neo4jシェル ③REST API ④Neo4jドライバー Cypher動作検証にNeo4jシェ…

グラフデータベースNeo4jのセットアップ

参考 moneyforward.comwww.creationline.com 環境構築 環境: Mac Sierra ①Javaインストール brew cask install java ②brewでNeo4jをインストール brew install neo4j やってみる ①shellからCypher実行するために設定ファイル変更 stackoverflow.com $ diff /…

データ構造としてのグラフとは?

グラフとは? ノードとエッジで表現するデータ型 ノードは頂点 エッジはノード間の連結関係を示す グラフ理論を適用できる mathtrain.jp グラフの数学的表現方法 以下の2つがあり。 ①隣接行列 以下URLより引用 隣接行列 — WTOPIA v1.0 documentation 行列とい…

pythonのcymruwhoisモジュールでIPアドレスからwhois情報取得

参考 pypi.python.orgAPI — cymruwhois v1.0 documentation 使い方が簡単 #! /usr/bin/env python3 # -*- coding: utf-8 -*- from cymruwhois import Client # 一個だけデータを取得する場合 c = Client() r = c.lookup('8.8.8.8') print('ANS: ' + r.asn) p…

jubatus anomalyのnum_rules動作検証(jubaanomalyにデータを投入するツール)

説明 jubaanomalyにデータを学習させたり、外れ値を計算させるツール。指定可能なオプションは以下の通り。 オプション 意味 -t num_rulesのタイプ(num or str or log)を指定。必須指定オプション -c データ学習前に既存データをクリアする。省略可能。デフ…

jubatus anomalyのnum_rules動作検証(テストデータ分布状況出力ツール)

説明 データを受けてヒストグラムとパイチャートを出力 一次元データのみ対応。 dist_disp.py # -*- coding: utf-8 -*- import matplotlib.pyplot as plt def make_pie_data(data): pie_data = dict() for i in data: pie_data[i] = data.count(i) return pi…

jubatus anomalyのnum_rules動作検証(テストデータ生成ツール)

説明 引数にデータ数、データのタイプ(以下参照)を指定し、データを生成するツール ・全部同じデータ ・一様分布 ・標準正規分布 ・正規分布(平均50、標準偏差15) make_data.py # -*- coding: utf-8 -*- import argparse import numpy as np parser = argpar…

jubatus anomalyのnum_rules動作検証

目的 jubatus anomalyのnum_rules(typeがstr or num or log)の違いによる動作確認をする。 num_rulesのtypeの説明 データ変換 — Jubatus上記URLによると以下の通り 値 意味 num 与えられた数値をそのまま重みに利用する。 str 与えられた数値を文字列として…

散布図とは?

参考 散布図 - Wikipedia kantan-shikaku.com 散布図とは? 縦軸、横軸に2つのデータを対応させ、データを点でプロットしたもの 二つのデータの相関関係をみつけるのに有用

Macでmatplotlibを使う

以下問題発生 $ cat ./test.py import numpy as np import matplotlib.pyplot as plt print("test") $ python ./test.py Traceback (most recent call last): File "./test.py", line 2, in <module> import matplotlib.pyplot as plt File "/Users/pike/.pyenv/vers</module>…

標準偏差について

参考URL atarimae.biz メモ 各データと平均の差異を標準化(平にする)したもの。 例) 試験結果のケースでは、各データは受験者のテスト点数 2乗を平方根で戻しているため、単位は同じ。 「平均-標準偏差〜平均+標準偏差」この間に多くのデータが含まれる 例) …

libvirtのネットワーク管理

libvirtは構成定義ファイルに従い、仮想ネットワークを作成する。 KVMインストールデフォルトの状態では、defaultネットワークが設定される。 これを手動で設定することで、どのようなに実現されているか理解する。 インストールデフォルトの状態 仮想ネット…

iproute2について

enakai00.hatenablog.com

Linuxのネットワークトラフィック制御コマンド

このへん面白そう。いつかやってみる。inokara.hateblo.jp alpha-netzilla.blogspot.jp

iptablesのルール最大数関連のメモ

internetlifeforum.com support.cloudflare.com

KVMコマンドメモ

VMを接続するNWの一覧出力 # virsh net-list --all ネットワークの削除

自宅KVM環境構築メモ

参考URL https://access.redhat.com/documentation/ja-JP/Red_Hat_Enterprise_Linux/7/pdf/Virtualization_Deployment_and_Administration_Guide/Red_Hat_Enterprise_Linux-7-Virtualization_Deployment_and_Administration_Guide-ja-JP.pdf 作業 1.CentOS7.…

Ubuntuパッケージ管理メモ

RPM dpkg 変換表 – まつぼ x Web [Ubuntu] apt-get まとめ - Qiita

OpenStackエラーログ調査

目的 OpenStackのエラーログを、こつこつ原因調査してみる。 環境 Centos7 OpenStafck Ocata 1NICだけのホスト 事象 /var/log/neutron/linuxbridge-agent.log 上記ログファイルに、以下のエラーログが2秒に1回出力される。 再起動しても解消されない。 2017-…

OpenStack調査メモ

参考URL Memcached そもそもMemcachedとは? 第1回 memcachedの基本:memcachedを知り尽くす|gihyo.jp … 技術評論社データをキャッシュする。メモリを利用。 Webアプリなどで一時的なデータを格納される。停止するとデータは消える。OpenStackの各コンポーネ…

VMwaer NSXのハンズオンラボメモ(HOL-1703-SDC-1- JA NSX Edge サービスゲートウェイ)

参考URL VMware NSX Hands-on Labs VMware NSX for vSphere 6.2 Documentation Center メモ ・外部NWとの境界につなげて各種機能を提供。 ・外部NWのRouterとルーティング情報を交換する。 仮想化内ネットワーク情報を外部NWのRouterに伝播され、外部NWから…

VMwaer NSXのハンズオンラボメモ(HOL-1703-SDC-1- JA 論理ルーティング)

参考URL VMware NSX Hands-on Labs VMware NSX for vSphere 6.2 Documentation Center メモ ・論理ルーティングはEast-West通信を最適化する機能 ・ヘアピン問題を解消。 同一ホスト上の異なるNWに接続されたVMが通信をする際、ルーター(ESG)動作中のホスト…

VMwaer NSXのハンズオンラボメモ(HOL-1703-SDC-1- JA 論理スイッチ)

参考URL VMware NSX Hands-on Labs VMware NSX for vSphere 6.2 Documentation Center メモ ・ホストサーバで論理スイッチ(以後LS)構成済みでも、分散仮想スイッチ(以後vDS)のポートグループに仮想マシン(以後VM)を接続しただけなら、NSXなし環境と同じ動き…

VMwaer NSXのハンズオンラボメモ(HOL-1703-SDC-1- JA NSX Manager インストールと設定)

参考URL VMware NSX Hands-on Labs VMware NSX for vSphere 6.2 Documentation Center メモ 事前に分散仮想スイッチ環境が必要 NSXマネージャー、コントローラは管理NWに接続 NSXコントローラは3台以上の奇数構成が推奨(冗長化の仕組み的に) 論理スイッチを…

OpenStackメモ

novaのプロセス説明 OpenStack Docs: Compute service overview

Amazon Lexをやってみた

参考URL Amazon Lex (音声やテキストを使用した会話型インターフェイスを構築) | AWS Amazon Alexaの基礎知識 | Developers.IO Alexaを支える技術Amazon Lexが開発者に開放された | TechCrunch Japan Amazon Lexとは? ・Amazon Deep Learning技術による自…