pikesaku’s blog

個人的なプログラム勉強メモです。記載内容について一切の責任は持ちません。

AWS S3 SDKメモ(書き掛け)

参考 AWS SDK を使用したリクエストの実行 - Amazon Simple Storage Service →AWS SDK説明 Python | チュートリアル、API、SDK、ドキュメント | AWS 開発者センター →AWS SDK Python概要 aws-doc-sdk-examples/python/example_code at master · awsdocs/aws-…

WebAPIについて

参考 0からREST APIについて調べてみた - Qiita 今さら聞けないWebAPIの実装方式RESTとSOAPの違い - Qiita REST - SOAP とRESTの違いについてわかりやすく教えていただけませんでしょうか?|teratail RESTとは何か、SOAPとは何か。 - 感謝のプログラミング …

AWS CLI S3コマンドinclude・excludeメモ

ポイント ・順番に評価され、より後で評価されたもので決定。この点を考慮しinclude・exclude両方指定した方が直感的かも。 例1) --exclude "*" --include "*.txt" →txt拡張子だけがマッチ 例2) --include "*.txt" --exclude "*" →全てマッチ ・*は全てにマ…

AWS CLI S3コマンドメモ

参考 aws s3 help aws s3 機能 help aws s3 syncするシェルスクリプトでワイルドカードでexcludeしたときのメモ - Qiita →excludeが意図した通りに動かず、はまる。。。上記URLで解消・感謝!!! 最初にやったこと ・ec2ユーザーにロール割り当て ・ec2イン…

awsコマンドのヘルプ内容

どんなサブコマンドがあるかわかる $ aws help AWS() AWS() NAME aws - DESCRIPTION The AWS Command Line Interface is a unified tool to manage your AWS services. SYNOPSIS aws [options] <command> <subcommand> [parameters] Use aws command help for information on a sp</subcommand></command>…

awsコマンドのヘルプ

基本"コマンド help"でいけそう。 実行例 $ aws s3 help S3() S3() NAME s3 - DESCRIPTION This section explains prominent concepts and notations in the set of high-level S3 commands provided. Path Argument Type Whenever using a command, at leas…

勉強しよう

機械学習概論 講義テキスト from Etsuji Nakai www.slideshare.netいつか、これを見てやる!

ログ画像化(線表示)

コード apache_log_trans_to_image.py # -*- coding:utf-8 -*- import argparse import apache_log_trans_to_image_lib as alti parser = argparse.ArgumentParser(description='apache log to graph') parser.add_argument('log', help='log file', type=ar…

AWS利用時にやったこと

参考 https://upd.world/aws-settings/ やったこと ・ルートユーザーでMFA有効化 ・IAMユーザーでMFA有効化 ・複数スマホでのMFA有効化 ・請求アラート設定

AWS二要素認証設定

参考 Captcha MFAは必ず設定すること!

AWS IAM調査メモ

参考URL IAM とは - AWS Identity and Access Management https://upd.world/aws-settings/ メモ ・アカウント作成時のID/PASSがルートユーザー ・ルートユーザーはユーザー作成以外では基本使わないのがベストプラクティクス。 ・ユーザー、グループを作成…

AWS Cloudwatch調査メモ

参考URL Amazon CloudWatch とは - Amazon CloudWatch メモ ・AWSリソースとアプリケーションのリアルタイムモニタリング機能 ・リソースとアプリケーションに設定された変数情報を参照してモニタリングする ・ルールを定義しマッチした場合、自動的にリソー…

AWS S3調査メモ

参考URL Amazon Simple Storage Service の使用開始 - Amazon Simple Storage Service 初めてのAWS CLI 2 (S3編) - Qiita メモ S3はクラウドストレージ データをオブジェクトとして扱う オブジェクトはファイル自体とメタデータで構成 オブジェクトの入れ物…

ログ画像化(図表示)

コード apache_log_trans_to_image.py # -*- coding:utf-8 -*- import argparse import apache_log_trans_to_image_lib as alti parser = argparse.ArgumentParser(description='apache log to graph') parser.add_argument('log', help='log file', type=ar…

ピクセルデータを指定した画像作成方法

参考 行列による画像処理 基礎編&目次 ~Python画像処理の再発明家~ サンプルコード(参考URLまるまる利用) # -*- coding:utf-8 -*- import matplotlib.pyplot as plt import PIL import numpy as np img_rgb = np.array([ [[255,0,0],[0,255,0],[0,0,255]]…

GPFS調査メモ

わかったこと 分散ファイルシステム GPFSクライアント利用時、クライアントにはローカルファイルシステムとして見える NFSでアクセスも可能 スナップショット機能あり 構成サーバはSANストレージを共有する 複数プロセスからの同時アクセス可能 データストラ…

Matplotlib勉強

ソース # -*- coding:utf-8 -*- import matplotlib.pyplot as plt import numpy as np from matplotlib.ticker import MultipleLocator, FormatStrFormatter x = [-50, 50, 50, -50] y = [50, 50, -50, -50] # http://ailaby.com/matplotlib_fig/ # subplot(…

文字列をグラフ化

ソース # -*- coding:utf-8 -*- import hashlib import re import itertools import numpy as np import matplotlib.pyplot as plt # グラフ化する文字列の数 UNIT_OF_SECTION = 5 def trans_to_nums(s): s = s.encode('UTF-8') m = hashlib.md5() m.update(…

Pythonリスト扱い時のメモリ・処理速度調査

わかったこと 内包表記の方が処理が速い ファイルハンドラを作成しただけではメモリは確保されない。 ファイルハンドラをフィルタせず不要にリストオブジェクトに代入しないこと ※全データ分メモリがとられる。フィルタすればフィルタ結果の分だけメモリが使…

shellでランダムな16進数文字列を得るコマンド

コマンド 512MBのファイルを作る時 openssl rand -hex `expr 1024 \* 1024 \* 512 / 2` -out /tmp/512.mb.file➗2が必要。 256MBの複数行で出力したい場合 openssl rand -base64 `expr 1024 \* 1024 \* 256` | head -c`expr 1024 \* 1024 \* 256` > /tmp/256.…

文字列の数値化

文字列をmd5sum化し(16進数32桁)を、4桁づつ10進数に変換 コード # -*- coding:utf-8 -*- import hashlib import re def trans_to_nums(s): m = hashlib.md5() m.update(s) h = m.hexdigest() # hは16進数32桁 # 4桁づつ、リストにする。 # https://stackove…

metasploit検証

環境 kali linux(攻撃サーバ): 192.168.56.102 metaexplitable2(やられ役): 192.168.56.100 kali linuxからnmapでポートスキャン # namp -A 192.168.56.100 Starting Nmap 7.70 ( https://nmap.org ) at 2018-08-12 00:41 EDT Nmap scan report for 192.168.…

JTF2018メモ

PFNの機械学習クラスタを支える技術 define by run がchainnerの特徴 Jupyter NoteBookが変える、あなたのチームの運用作業 手順書(ボタン一つで実行可能)、メモ、証跡が可能 NoteBookはAPIからも実行可能 Jupyterはプラグインで改良。コード、Dockerイメー…

msfconsole使い方メモ

実行形式 # msfconsole --help Usage: msfconsole [options] Common options: -E, --environment ENVIRONMENT Set Rails environment, defaults to RAIL_ENV environment variable or 'production' Database options: -M, --migration-path DIRECTORY Specif…

Metasploit HTTPスキャナメモ

参考URL Scanner HTTP Auxiliary Modules - Metasploit Unleashed

Metasploit使い方メモ

参考 Metasploit メモ モジュール種類について Exploit コマンド実行可能にする Auxiliary 悪い行為ではなく、その補助的なもの。 スキャンや脆弱性調査ツール、DoS機能など Post-Exploitation Exploitモジュール成功後に、更に高度な攻撃可能にする為の情報…

Metasploitセットアップメモ

参考URL kali linux をはじめて使う人に見てほしい | yuipro ペネトレーションツール Metasploitは数個のコマンドを覚えるだけ - Eyes, JAPAN Blog VirtualBox - 拡張パック(Extension Pack)のダウンロード・インストール - PC設定のカルマ VirtualBoxで脆…

ApacheログのPythonのパーサーライブラリ

参考URL PythonでApacheログの解析(apache-log-parser) - Symfoware apache-log-parser · PyPI インストール # yum install epel-release # yum install python2-pip # pip install apache-log-parser バグ(?)修正 # sed -i -r -e "s/make_regex\('%I'\), '\…

グラフの形式

参考 統計をグラフにあらわそう(種類と特徴)|なるほど統計学園 Drawing ternary diagrams (ternary plots) 分布図とバブルチャートの正しい使い方とは?(第7回) | データをざくざく処理するためのグラフの読み方、使い方 | Web担当者Forum http://ec.ni…

自動要約

自動要約 - Wikipedia ツイートを要約してくれる執事を作りました【最大被覆モデル】 商品評判要約API |ソフト・アプリ開発のAPIなら【gooラボ】