作ったプログラムは以下 ①make_test_data.py 学習データにするログイン記録データを生成するツール。 1行あたりのフォーマットは以下。 日時, 接続元IPアドレス オプションでログインソースの傾向を決められる。 本物のログイン記録になるっぽく少しいじって…

説明 jubaanomalyにデータを学習させたり、外れ値を計算させるツール。指定可能なオプションは以下の通り。 オプション 意味 -t num_rulesのタイプ(num or str or log)を指定。必須指定オプション -c データ学習前に既存データをクリアする。省略可能。デフ…

説明 データを受けてヒストグラムとパイチャートを出力 一次元データのみ対応。 dist_disp.py # -*- coding: utf-8 -*- import matplotlib.pyplot as plt def make_pie_data(data): pie_data = dict() for i in data: pie_data[i] = data.count(i) return pi…

説明 引数にデータ数、データのタイプ(以下参照)を指定し、データを生成するツール ・全部同じデータ ・一様分布 ・標準正規分布 ・正規分布(平均50、標準偏差15) make_data.py # -*- coding: utf-8 -*- import argparse import numpy as np parser = argpar…

目的 jubatus anomalyのnum_rules(typeがstr or num or log)の違いによる動作確認をする。 num_rulesのtypeの説明 データ変換 — Jubatus上記URLによると以下の通り 値 意味 num 与えられた数値をそのまま重みに利用する。 str 与えられた数値を文字列として…

ためしに作ってみる！ 参考URL GeoIPでIPアドレスから位置情報を取得する[Python] - sonickun.log GeoLite2 Free Downloadable Databases « Maxmind Developer Site http://geoip2.readthedocs.io/en/latest/ GeoIPセットアップ # rpm -ivh ftp://195.220.10…

参考 Jubatus で facebook への不正ログインを検知したい話(1) - Qiita Anomaly チュートリアル (Python) — Jubatus データ変換 — Jubatus サンプルプログラム やってること ユーザー名と接続元IPアドレスの情報で構成されるテストデータを作成 ※接続元IPア…

参考URL Anomaly チュートリアル — Jubatusデータ変換 — Jubatus データ変換とは? 一般的に機械学習を行う場合、テキスト等の非定形データは直接扱うことはできないその為、それらのデータから特徴抽出をして、特徴ベクトルデータを得る必要がある。これがデ…

参考URL チュートリアル — Jubatus Classifierチュートリアル jubaclassifierを使って入力データの分類を行う サンプルプログラムの内容 昔の将軍の名前を入力にして名字をあてる。 例) 入力) 家康→ 出力) 徳川 入力) 尊氏→ 出力) 足利 Recommender チュート…

* 参考URLチュートリアル — Jubatus チュートリアルプログラムの概要 ・自然言語の分類をする ・評価用データとしてNews 20を使う Home Page for 20 Newsgroups Data Set ・News 20は自然言語分類の評価用データ 80％が学習用データ 20％がテスト用データ ・…