pikesaku’s blog

個人的なプログラム勉強メモです。記載内容について一切の責任は持ちません。

今度読むこと!

qiita.com

グラフデータベースNeo4j動作検証

参考URL グラフデータベース Neo4j(前編) | グラフデータベース Neo4j(後編) | www.creationline.com qiita.com ecpplus.net やってみる 路線図とかをインプットしてみて最短距離検索とかやる場合、どうやるのかな? と思っていたら、参考URLがあったので、や…

グラフデータベースNeo4jのクエリ言語Cypherの動作検証

参考URL www.creationline.com www.creationline.com qiita.com はじめに データ操作はCypherと呼ばれるクエリ言語を利用 Cypherは以下4つのIFより実行可能 ①Neo4jウェブインターフェー ②Neo4jシェル ③REST API ④Neo4jドライバー Cypher動作検証にNeo4jシェ…

グラフデータベースNeo4jのセットアップ

参考 moneyforward.comwww.creationline.com 環境構築 環境: Mac Sierra ①Javaインストール brew cask install java ②brewでNeo4jをインストール brew install neo4j やってみる ①shellからCypher実行するために設定ファイル変更 stackoverflow.com $ diff /…

データ構造としてのグラフとは?

グラフとは? ノードとエッジで表現するデータ型 ノードは頂点 エッジはノード間の連結関係を示す グラフ理論を適用できる mathtrain.jp グラフの数学的表現方法 以下の2つがあり。 ①隣接行列 以下URLより引用 隣接行列 — WTOPIA v1.0 documentation 行列とい…

pythonのcymruwhoisモジュールでIPアドレスからwhois情報取得

参考 pypi.python.orgAPI — cymruwhois v1.0 documentation 使い方が簡単 #! /usr/bin/env python3 # -*- coding: utf-8 -*- from cymruwhois import Client # 一個だけデータを取得する場合 c = Client() r = c.lookup('8.8.8.8') print('ANS: ' + r.asn) p…

jubatus anomalyのnum_rules動作検証(jubaanomalyにデータを投入するツール)

説明 jubaanomalyにデータを学習させたり、外れ値を計算させるツール。指定可能なオプションは以下の通り。 オプション 意味 -t num_rulesのタイプ(num or str or log)を指定。必須指定オプション -c データ学習前に既存データをクリアする。省略可能。デフ…

jubatus anomalyのnum_rules動作検証(テストデータ分布状況出力ツール)

説明 データを受けてヒストグラムとパイチャートを出力 一次元データのみ対応。 dist_disp.py # -*- coding: utf-8 -*- import matplotlib.pyplot as plt def make_pie_data(data): pie_data = dict() for i in data: pie_data[i] = data.count(i) return pi…

jubatus anomalyのnum_rules動作検証(テストデータ生成ツール)

説明 引数にデータ数、データのタイプ(以下参照)を指定し、データを生成するツール ・全部同じデータ ・一様分布 ・標準正規分布 ・正規分布(平均50、標準偏差15) make_data.py # -*- coding: utf-8 -*- import argparse import numpy as np parser = argpar…

jubatus anomalyのnum_rules動作検証

目的 jubatus anomalyのnum_rules(typeがstr or num or log)の違いによる動作確認をする。 num_rulesのtypeの説明 データ変換 — Jubatus上記URLによると以下の通り 値 意味 num 与えられた数値をそのまま重みに利用する。 str 与えられた数値を文字列として…

散布図とは?

参考 散布図 - Wikipedia kantan-shikaku.com 散布図とは? 縦軸、横軸に2つのデータを対応させ、データを点でプロットしたもの 二つのデータの相関関係をみつけるのに有用

Macでmatplotlibを使う

以下問題発生 $ cat ./test.py import numpy as np import matplotlib.pyplot as plt print("test") $ python ./test.py Traceback (most recent call last): File "./test.py", line 2, in <module> import matplotlib.pyplot as plt File "/Users/pike/.pyenv/vers</module>…

標準偏差について

参考URL atarimae.biz メモ 各データと平均の差異を標準化(平にする)したもの。 例) 試験結果のケースでは、各データは受験者のテスト点数 2乗を平方根で戻しているため、単位は同じ。 「平均-標準偏差〜平均+標準偏差」この間に多くのデータが含まれる 例) …

libvirtのネットワーク管理

libvirtは構成定義ファイルに従い、仮想ネットワークを作成する。 KVMインストールデフォルトの状態では、defaultネットワークが設定される。 これを手動で設定することで、どのようなに実現されているか理解する。 インストールデフォルトの状態 仮想ネット…

iproute2について

enakai00.hatenablog.com

Linuxのネットワークトラフィック制御コマンド

このへん面白そう。いつかやってみる。inokara.hateblo.jp alpha-netzilla.blogspot.jp

iptablesのルール最大数関連のメモ

internetlifeforum.com support.cloudflare.com

KVMコマンドメモ

VMを接続するNWの一覧出力 # virsh net-list --all ネットワークの削除

自宅KVM環境構築メモ

参考URL https://access.redhat.com/documentation/ja-JP/Red_Hat_Enterprise_Linux/7/pdf/Virtualization_Deployment_and_Administration_Guide/Red_Hat_Enterprise_Linux-7-Virtualization_Deployment_and_Administration_Guide-ja-JP.pdf 作業 1.CentOS7.…

Ubuntuパッケージ管理メモ

RPM dpkg 変換表 – まつぼ x Web [Ubuntu] apt-get まとめ - Qiita

OpenStackエラーログ調査

目的 OpenStackのエラーログを、こつこつ原因調査してみる。 環境 Centos7 OpenStafck Ocata 1NICだけのホスト 事象 /var/log/neutron/linuxbridge-agent.log 上記ログファイルに、以下のエラーログが2秒に1回出力される。 再起動しても解消されない。 2017-…

OpenStack調査メモ

参考URL Memcached そもそもMemcachedとは? 第1回 memcachedの基本:memcachedを知り尽くす|gihyo.jp … 技術評論社データをキャッシュする。メモリを利用。 Webアプリなどで一時的なデータを格納される。停止するとデータは消える。OpenStackの各コンポーネ…

VMwaer NSXのハンズオンラボメモ(HOL-1703-SDC-1- JA NSX Edge サービスゲートウェイ)

参考URL VMware NSX Hands-on Labs VMware NSX for vSphere 6.2 Documentation Center メモ ・外部NWとの境界につなげて各種機能を提供。 ・外部NWのRouterとルーティング情報を交換する。 仮想化内ネットワーク情報を外部NWのRouterに伝播され、外部NWから…

VMwaer NSXのハンズオンラボメモ(HOL-1703-SDC-1- JA 論理ルーティング)

参考URL VMware NSX Hands-on Labs VMware NSX for vSphere 6.2 Documentation Center メモ ・論理ルーティングはEast-West通信を最適化する機能 ・ヘアピン問題を解消。 同一ホスト上の異なるNWに接続されたVMが通信をする際、ルーター(ESG)動作中のホスト…

VMwaer NSXのハンズオンラボメモ(HOL-1703-SDC-1- JA 論理スイッチ)

参考URL VMware NSX Hands-on Labs VMware NSX for vSphere 6.2 Documentation Center メモ ・ホストサーバで論理スイッチ(以後LS)構成済みでも、分散仮想スイッチ(以後vDS)のポートグループに仮想マシン(以後VM)を接続しただけなら、NSXなし環境と同じ動き…

VMwaer NSXのハンズオンラボメモ(HOL-1703-SDC-1- JA NSX Manager インストールと設定)

参考URL VMware NSX Hands-on Labs VMware NSX for vSphere 6.2 Documentation Center メモ 事前に分散仮想スイッチ環境が必要 NSXマネージャー、コントローラは管理NWに接続 NSXコントローラは3台以上の奇数構成が推奨(冗長化の仕組み的に) 論理スイッチを…

OpenStackメモ

novaのプロセス説明 OpenStack Docs: Compute service overview

Amazon Lexをやってみた

参考URL Amazon Lex (音声やテキストを使用した会話型インターフェイスを構築) | AWS Amazon Alexaの基礎知識 | Developers.IO Alexaを支える技術Amazon Lexが開発者に開放された | TechCrunch Japan Amazon Lexとは? ・Amazon Deep Learning技術による自…

Pythonの関数デコレータについて

参考 Pythonのデコレータを理解するための12Step - Qiita https://www.amazon.co.jp/パーフェクトPython-PERFECT-5-Pythonサポーターズ/dp/477415539X Pythonのデコレータを理解するときに残したメモ - kk6のメモ帳* デコレータの使いどころ - Qiita 関数デ…

Pythonのlambda式について

参考 Pythonのlambda式(無名関数)の使い方 | UX MILK Pythonの無名関数(lambda)の使い方 - Life with Python lambda式とは? 無名関数を記述する方法 無名関数とは? ・関数宣言をせずに使える関数 ・一度だけしか使われない使い捨ての関数。名前をつける…

Pycharm使い方メモ

vimのキーバインドにする PyCharmでvimを使う - yukofebの日記いい感じ! 他便利な使い方 最強のPython統合開発環境PyCharm - Qiita 検索機能 command + o クラス検索 command + shift + o ファイル検索 command + option + o シンボル検索 コード実行 contr…

Pythonネットワークプログラミング勉強コード

簡易tcpサーバ 動作 ・受信データを16進数でクライアントに返す。 ・接続開始、終了情報をサーバ側コンソールに出力する。 コード # -*- coding: utf-8 -*- import sys import socket import threading CS = 'utf-8' PORT = sys.argv[1] # PORTはstr型(Pytho…

ファイルを指定した行数で分割するコマンド

splitってコマンドがある 動きはこんな感じ $ seq 100 > ./all.txt && split -l 30 -d ./all.txt bunkatsu_ $ wc -l ./bunkatsu* 30 ./bunkatsu_00 30 ./bunkatsu_01 30 ./bunkatsu_02 10 ./bunkatsu_03 100 合計 $ ・第一引数は入力ファイル ・第二引数は出…

muttでメール送信

使い方 echo "MESSAGE" | mutt [OPTION] 宛先アドレス mailコマンドと似た感じで使える 参考 man mutt(1) man muttrc(5) 件名設定 $ echo test | mutt -s 'test' root@example.com MTA指定 $ echo test | mutt -e 'set smtp_url="smtp://127.0.0.1:25"' root…

Pythonのネットワークプラグラミング

参考 https://www.amazon.co.jp/サイバーセキュリティプログラミング-―Pythonで学ぶハッカーの思考-Justin-Seitz/dp/4873117313 netcatもどき(作成中) # -*- coding: utf-8 -*- import sys import socket import getopt import threading import subprocess …

Pythonのジェネレータ関数

参考 https://www.amazon.co.jp/パーフェクトPython-PERFECT-5-Pythonサポーターズ/dp/477415539X ジェネレータ関数とは? ジェネレータオブジェクトを生成する関数 ジェネレータオブジェクトはイテレータ処理(データを順番に処理)をする機能を持つ オブジェ…

Pythonのglobalとnonlocal宣言

参考 https://www.amazon.co.jp/パーフェクトPython-PERFECT-5-Pythonサポーターズ/dp/477415539X global宣言 グローバル変数を関数内で参照できるが、データ変更しても、新しいローカル変数が定義された状態になる。(もしくはUnboundLocalError例外) global…

Pythonの関数(引数の指定方法)

参考 https://www.amazon.co.jp/パーフェクトPython-PERFECT-5-Pythonサポーターズ/dp/477415539X キーワード引数 引数に名前をつけて渡す。順番が関係なくなる。 >>> def hoge(a1, a2, a3): ... print(a1,a2,a3) ... >>> hoge(1,2,3) 1 2 3 >>> hoge(a3=1,a…

Pythonの内包表記

参考 https://www.amazon.co.jp/パーフェクトPython-PERFECT-5-Pythonサポーターズ/dp/477415539X リスト >>> a = [ x**2 for x in range(1,11)] >>> a [1, 4, 9, 16, 25, 36, 49, 64, 81, 100] >>> ※rangeの2個目の引数は終了点。range(1,11)1は1〜10 セッ…

PythonのオブジェクトID

参考 https://www.amazon.co.jp/パーフェクトPython-PERFECT-5-Pythonサポーターズ/dp/477415539X オブジェクトIDとは? インタプリタがオブジェクトを管理するID メモリ上のオブジェクトの場所を示す情報2つのオブジェクトが同じかは、is で判定可能 id関数…

PythonのNone型

参考 https://www.amazon.co.jp/パーフェクトPython-PERFECT-5-Pythonサポーターズ/dp/477415539X 値が存在しないことを表す特別な値 >>> a = ['',None,1,2] >>> a ['', None, 1, 2] >>> a[0] is None False >>> a[1] is None True >>> a[0] '' >>> if a[0]:…

Pythonのディクショナリ操作

参考 https://www.amazon.co.jp/パーフェクトPython-PERFECT-5-Pythonサポーターズ/dp/477415539X 定義方法 >>> a = {'a':1,'b':2} >>> a {'b': 2, 'a': 1} >>> a['c'] = 3 >>> a {'b': 2, 'a': 1, 'c': 3} >>> キーの存在チェック >>> a {'b': 2, 'a': 1, '…

Pythonのセット操作

参考 https://www.amazon.co.jp/パーフェクトPython-PERFECT-5-Pythonサポーターズ/dp/477415539X 要素の追加削除 discardは該当要素がなくても例外発生しない >>> a = {1,2,3,4,5} >>> a.add(6) >>> a {1, 2, 3, 4, 5, 6} >>> a.remove(3) >>> a {1, 2, 4, …

Pythonのリスト操作

参考 https://www.amazon.co.jp/パーフェクトPython-PERFECT-5-Pythonサポーターズ/dp/477415539X s[i:j:k] i番目からj番目までの要素をk個毎に取り出す >>> a = [0,1,2,3,4,5,6,7,8,9] >>> a[0:9:2] [0, 2, 4, 6, 8] >>> a[0::2] [0, 2, 4, 6, 8] >>> s.ind…

MailmanとDMARC

MailmanにDMARC機能が追加されたのでメモ デフォルト設定なら、前バージョンまでの動きと変わらない。 DMARCとは SPF/DKIMによる送信者認証を利用した認証の仕組み SPF/DKIMの以下問題を改善する仕組みを持っている。・SPF/DKIMは認証失敗した時の扱いが明…

FMLの会員管理ファイルの動作確認

activesファイルの動作 シングルクオーテーションは評価されない。ダブルクオーテーションは閉じていれば評価される。 投稿しても有効なメンバーない場合は、以下ログが出る。 SmtpIO: no recipients but O.K.? (test1@example.com) membersファイルの動作 m…

FMLのReply-Toヘッダ付与動作

fmlはデフォルト設定。 投稿メールReply-To HOOK設定Reply-To 配信メールに付与されたReply-To 有 有※ HOOK設定Reply-To 有 無 投稿メールReply-To 無 有※ HOOK設定Reply-To 無 無 MLアドレス ※HOOK設定は以下の場合 $START_HOOK = q# &DEFINE_FIELD_FORCED(…

FMLの配送制限(PERMIT_POST_FROM)とMailman設定対応表

fml/mailman設定 動作が定義されていない非会員からの投稿に対する動作(generic_nonmember_action)承認/保留/拒否/破棄 新しく登録する会員のデフォルトを制限付き会員にしますか?(default_member_moderation)いいえ/はい 制限付き会員から投稿があったとき…

FMLとMailmanの送信元ヘッダ比較

FMLはデフォルト設定、Mailmanの関連設定は以下の通り 項目 値 anonymous_list No include_sender_header Yes reply_goes_to_list 投稿者 first_strip_reply_to No メンバー配信メール 種別 Return-Path From Reply-To Sender fml ML名-admin 投稿者 ML名 - …

FML2Mailman移行ツール(試験まだしてない。。)

ツール説明 作成中 ツール #!/usr/bin/python # coding: utf-8 # 留意事項 # 1.activesやmembersの中のローカルパートのみアドレスはskipされる。 # 2.WarnでSkipを含むメッセージは移行していない情報があるを意味する。 # メッセージより必要に応じて手作…