pikesaku’s blog

個人的なプログラム勉強メモです。記載内容について一切の責任は持ちません。

ログ画像化

import argparse import apache_log_trans_to_image_lib as alti parser = argparse.ArgumentParser(description='apache log to graph') parser.add_argument('log', help='log file', type=argparse.FileType('r')) parser.add_argument('--hash', help='d…

文字列をグラフ化

ソース # -*- coding:utf-8 -*- import hashlib import re import itertools import numpy as np import matplotlib.pyplot as plt # グラフ化する文字列の数 UNIT_OF_SECTION = 5 def trans_to_nums(s): s = s.encode('UTF-8') m = hashlib.md5() m.update(…

Pythonリスト扱い時のメモリ・処理速度調査

わかったこと 内包表記の方が処理が速い ファイルハンドラを作成しただけではメモリは確保されない。 ファイルハンドラをフィルタせず不要にリストオブジェクトに代入しないこと ※全データ分メモリがとられる。フィルタすればフィルタ結果の分だけメモリが使…

shellでランダムな16進数文字列を得るコマンド

コマンド 512MBのファイルを作る時 openssl rand -hex `expr 1024 \* 1024 \* 512 / 2` -out /tmp/512.mb.file➗2が必要。 256MBの複数行で出力したい場合 openssl rand -base64 `expr 1024 \* 1024 \* 256` | head -c`expr 1024 \* 1024 \* 256` > /tmp/256.…

文字列の数値化

文字列をmd5sum化し(16進数32桁)を、4桁づつ10進数に変換 コード # -*- coding:utf-8 -*- import hashlib import re def trans_to_nums(s): m = hashlib.md5() m.update(s) h = m.hexdigest() # hは16進数32桁 # 4桁づつ、リストにする。 # https://stackove…

metasploit検証

環境 kali linux(攻撃サーバ): 192.168.56.102 metaexplitable2(やられ役): 192.168.56.100 kali linuxからnmapでポートスキャン # namp -A 192.168.56.100 Starting Nmap 7.70 ( https://nmap.org ) at 2018-08-12 00:41 EDT Nmap scan report for 192.168.…

JTF2018メモ

PFNの機械学習クラスタを支える技術 define by run がchainnerの特徴 Jupyter NoteBookが変える、あなたのチームの運用作業 手順書(ボタン一つで実行可能)、メモ、証跡が可能 NoteBookはAPIからも実行可能 Jupyterはプラグインで改良。コード、Dockerイメー…

msfconsole使い方メモ

実行形式 # msfconsole --help Usage: msfconsole [options] Common options: -E, --environment ENVIRONMENT Set Rails environment, defaults to RAIL_ENV environment variable or 'production' Database options: -M, --migration-path DIRECTORY Specif…

Metasploit HTTPスキャナメモ

参考URL Scanner HTTP Auxiliary Modules - Metasploit Unleashed

Metasploit使い方メモ

参考 Metasploit メモ モジュール種類について Exploit コマンド実行可能にする Auxiliary 悪い行為ではなく、その補助的なもの。 スキャンや脆弱性調査ツール、DoS機能など Post-Exploitation Exploitモジュール成功後に、更に高度な攻撃可能にする為の情報…

Metasploitセットアップメモ

参考URL kali linux をはじめて使う人に見てほしい | yuipro ペネトレーションツール Metasploitは数個のコマンドを覚えるだけ - Eyes, JAPAN Blog VirtualBox - 拡張パック(Extension Pack)のダウンロード・インストール - PC設定のカルマ VirtualBoxで脆…

ApacheログのPythonのパーサーライブラリ

参考URL PythonでApacheログの解析(apache-log-parser) - Symfoware apache-log-parser · PyPI インストール # yum install epel-release # yum install python2-pip # pip install apache-log-parser バグ(?)修正 # sed -i -r -e "s/make_regex\('%I'\), '\…

グラフの形式

参考 統計をグラフにあらわそう(種類と特徴)|なるほど統計学園 Drawing ternary diagrams (ternary plots) 分布図とバブルチャートの正しい使い方とは?(第7回) | データをざくざく処理するためのグラフの読み方、使い方 | Web担当者Forum http://ec.ni…

自動要約

自動要約 - Wikipedia ツイートを要約してくれる執事を作りました【最大被覆モデル】 商品評判要約API |ソフト・アプリ開発のAPIなら【gooラボ】

analyzeSyntaxレスポンスメモ

参考 Token | Cloud Natural Language API | Google Cloud 以下引用部分は上記URLを翻訳したもの 出力例 私: Ofset: -1 Part_Of_Speech: tag: PRON person: FIRST proper: NOT_PROPER Dependency_Edge: 2 は: Ofset: -1 Part_Of_Speech: tag: PRT proper: NO…

Natural Language API気づいた点

APIレスポンス情報の取り方。 こんな取り方もできた。UNKNOWNは出力されない。 json形式でも取得できる。 インプットテキスト 私は犬です。 サンプルコード # -*- coding: utf-8 -*- from google.cloud import language from google.cloud.language import e…

Natural Language API の基本メモ(analyzeSyntaxメソッド)

参考 Natural Language API の基本 | Cloud Natural Language API ドキュメント | Google Cloud python-docs-samples/snippets.py at master · GoogleCloudPlatform/python-docs-samples · GitHub https://cloud.google.com/natural-language/docs/analyzing…

Natural Language API の基本メモ(analyzeEntitySentimentメソッド)

参考 Natural Language API の基本 | Cloud Natural Language API ドキュメント | Google Cloud python-docs-samples/snippets.py at master · GoogleCloudPlatform/python-docs-samples · GitHub https://cloud.google.com/natural-language/docs/analyzing…

Natural Language API の基本メモ(analyzeEntitiesメソッド)

参考 Natural Language API の基本 | Cloud Natural Language API ドキュメント | Google Cloud python-docs-samples/snippets.py at master · GoogleCloudPlatform/python-docs-samples · GitHub https://cloud.google.com/natural-language/docs/analyzing…

Natural Language API の基本メモ(analyzeSentimentメソッド)

参考 Natural Language API の基本 | Cloud Natural Language API ドキュメント | Google Cloud python-docs-samples/snippets.py at master · GoogleCloudPlatform/python-docs-samples · GitHub Analyzing Sentiment | Cloud Natural Language API Documen…

Natural Language API の基本メモ

参考 Natural Language API の基本 | Cloud Natural Language API ドキュメント | Google Cloud 特徴 テキスト分析・アノテーション(※1)付与するメソッドがあり 分析結果より言語理解のための情報が得られる ※1 データに注釈となる情報をメタデータとして追…

Natural Language API Client Librariesを使う!

参考 cloud.google.com 作業の流れ Cloud Shellでも認証設定必要だった。。。gcloudコマンドは認証設定なしで動いたのに。 ①アカウント作成 ②JSONファイルダウンロード ③Cloud ShellにJSONファイルをアップロードし以下環境変数にファイルパス設定 export GO…

Google Natural Language API をやってみる!

参考 クイックスタート | Google Cloud Natural Language API ドキュメント | Google Cloud Google API を有効にする | MAGELLAN BLOCKS API実行方法は2方法あり ①PCにCloud SDKインストールし、gcloudコマンド実行 ②Cloud Shellから実行 Cloud ShellはAPI認…

pyenv環境でバージョン指定する時

参考URL pyenvでpythonの細かいバージョンを指定する方法 - blog.ton-up.net やり方 pyenv global 2.7.X

自然言語の要約をためす

目的 勉強で参考にしたページの要約をしたい。 参考URL と、思っていたら以下のAPIがあった。試してみる! 自動要約APIを作ったので公開します | リクルートテクノロジーズ メンバーズブログ GitHub - recruit-tech/summpy 環境構築 環境: Mac High Sierra1.…

Google Photoメモ

参考 appllio.com アップロードサイズは以下2つを選択可能 高品質:1600万画素の写真と1080p動画を無料かつ容量無制限で保存可能 元のサイズ:元の解像度で保存(Googleドライブなどと共用の保存容量を消費/15GB超は有料) スマホ連携利用に最適 アシスタン…

Google Cloud Platformメモ

GCP概要 www.topgate.co.jp Google Cloud Platform(GCP) は、Google 製の PaaSであるGoogle App Engine を中心に、EC2 相当の Google Compute Engine、NoSQL である Cloud Datastore、ビッグデータ解析ツールの BigQuery など、様々なサービスをひとまとめに…

KVMメモ

参考 Amazon CAPTCHA メモ CPU仮想化支援機能の有無確認 /proc/cpuinfo Intel-VTの場合、vmx AMD-Vの場合、svm KVMデバイス /dev/kvm KVM実行ユーザーはKVMグループに属する必要あり virt-install対話式実行 virt-install --prompt QCOWの意味 QEMUのイメー…

JUJUデプロイメモ

環境 MAASサーバ冗長化構成で2台セットアップ済み MAASサーバでKVM稼働中。このKVMをPODに登録しJUJUコントローラをデプロイする。 作業の流れ POD登録 Virsh Addressは以下 qemu+ssh://pike@192.168.0.102/system ※pikeはUbuntu Sudoユーザー JUJUコントロ…

DRBD片系ノードを再構築する場合

シーン ノードA,BがありDRBDでディスク同期している状態でノードAが復旧不能になり、再構築する場合 手順 ノードBをDRBD Primaryにする ノードAを再セットアップしDRBDインストールし設定ファイルを復旧する。 以下コマンドでミラーデバイスセットアップ drb…