pikesaku’s blog

個人的なプログラム勉強メモです。記載内容について一切の責任は持ちません。

Webスクリピングサンプルコード

大変だった。。。待機が重要。 # -*- coding: utf-8 -*- from selenium import webdriver from selenium.webdriver.support.ui import Select from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_co…

Xpathのパス指定メモ

パス省略(//)は複数使ってもOK? サンプルコード # -*- coding: utf-8 -*- from lxml import html a = """ <html> <head> <title>Sample</title> </head> <body> <div> <h1 class="title1">Sample #01</h1> </div> <div> <h1 class="title2">Sample #02</h1> </div> <div> <h1 class="title3">Sample #03</h1> </div> </body> </html> """ prin…

XPATHメモ

参考 クローラ作成に必須!XPATHの記法まとめ - Qiita メモ ChromeならXpath特定可能

Seleniumメモ

参考 seleniumの2つの待機方法 - ストックドッグ Selenium API(逆引き) 4. 要素を見つける — Selenium Python Bindings 2 ドキュメント Selenium webdriverよく使う操作メソッドまとめ - Qiita 4. Locating Elements — Selenium Python Bindings 2 documenta…

Metabase使い方メモ

メモ SQL書いた場合、ドリルダウンできない? サンプルグラフにSQLで条件追加したらドリルダウン不可 円グラフはドリグダウンできる時と出来ない時の違いがわからない。 サンプルは円グラフでドリルダウン可能 自分で作った場合はNG(SQL未使用) 英語UIでない…

Pydnsblを使う

複数のDNSBLに問い合わせしてくれる。 ソース from pydnsbl import DNSBLChecker chk = DNSBLChecker() res = chk.check_ip('1.1.1.1') print("Result") print(res.blacklisted) print("") print("Providers") print(res.detected_by) 結果 Result True Prov…

Pythonのクラスについて

はじめに Pythonの仕様なので、こういうものだと覚える! 参照 Amazon CAPTCHA クラスの定義は以下の形 class クラス名: def メソッド名(self, ...): ... def メソッド名(self, ...): ... インスタンス生成 ソース class myclass: def __init__(self): pass …

HTMLメモ

divとclassについて HTMLのdiv classとは?5分でわかる事例付き解説|Udemy メディア divはタグをグループ化するもの。 classは、その名前。 idもdivにつける名前だが、違いは以下。 classは1ページ内で同一名を複数記述可能、idは一箇所のみ。

IT用語

ハイプ・サイクル ガートナー ジャパン | ハイプ・サイクル 2018年 テクノロジとアプリケーションの成熟度と採用状況、実際のビジネスにおける課題を解消する潜在的な能力、そしてテクノロジやアプリケーションが生み出す新たな機会などを提示するガートナー…

Webスクレイピング勉強

参考 Pythonでかんたんスクレイピング (JavaScript・Proxy・Cookie対応版) - QiitaRequestモジュール Developer Interface — Requests 2.21.0 documentationBeautifulSoup Beautiful Soup Documentation — Beautiful Soup 4.4.0 documentation パーサでは…

JavaScript勉強

参考 Amazon CAPTCHA 昔買った本で勉強 メモ JavaScriptが扱うオブジェクトは4つあり。 ①JavaScript固有オブジェクト <html> <head> <title>Test</title> </head> <body> <script type="text/javascript"> function hoge() { this.height = 100; this.width = 200; } var myobj = new hoge(); alert(myobj.height); hoge.prototype.de</body></html>…

Chromeデベロッパーツール

メモ Macの場合、CMD+Option+iキーで起動 Elementsタブの一番左のアイコンをクリックすると、ページの任意の場所でダブルクリックすると、該当ソース部分が分かる。

AWS S3のアクセス制御設定について

参考 S3のアクセスコントロールが多すぎて訳が解らないので整理してみる | DevelopersIO 以下3種類あり 種類 説明 ACL バケット・オブジェクト単位で設定可能 BucketPolicy PolicyDocument利用のため、柔軟な設定が可能。オブジェクト単位不向き、バケット…

クロスサイトスクリプティングについてメモ

いつまでたっても覚えない。メモしよう 参考 http://www.trusnet.com/secinfo/docs/webprog1/index.html 仕組み 説明の前提条件 攻撃者のサイトのURL http://cracker/index.html index.htmlの内容 ターゲットサイト http://target/ 入力データの情報を、その…

ログ画像化(線表示2)

pikesaku.hatenablog.com 上記との違いはクエリ文字列の情報もURLと同じ方法で反映した点。 赤線がURL 青線がクエリ文字列 クエリ文字列のキー文字列をハッシュ化。バリュー文字列は無視。 クエリが複数ある場合は、キー文字列をソートし&で繋げたものをハッ…

apacheアクセスログのデータセット

参考URL Are there any free large datasets in the format of an Apache access log? - Quora

AWS S3 SDKメモ(書き掛け)

参考 AWS SDK を使用したリクエストの実行 - Amazon Simple Storage Service →AWS SDK説明 Python | チュートリアル、API、SDK、ドキュメント | AWS 開発者センター →AWS SDK Python概要 aws-doc-sdk-examples/python/example_code at master · awsdocs/aws-…

WebAPIについて

参考 0からREST APIについて調べてみた - Qiita 今さら聞けないWebAPIの実装方式RESTとSOAPの違い - Qiita REST - SOAP とRESTの違いについてわかりやすく教えていただけませんでしょうか?|teratail RESTとは何か、SOAPとは何か。 - 感謝のプログラミング …

AWS CLI S3コマンドinclude・excludeメモ

ポイント ・順番に評価され、より後で評価されたもので決定。この点を考慮しinclude・exclude両方指定した方が直感的かも。 例1) --exclude "*" --include "*.txt" →txt拡張子だけがマッチ 例2) --include "*.txt" --exclude "*" →全てマッチ ・*は全てにマ…

AWS CLI S3コマンドメモ

参考 aws s3 help aws s3 機能 help aws s3 syncするシェルスクリプトでワイルドカードでexcludeしたときのメモ - Qiita →excludeが意図した通りに動かず、はまる。。。上記URLで解消・感謝!!! 最初にやったこと ・ec2ユーザーにロール割り当て ・ec2イン…

awsコマンドのヘルプ内容

どんなサブコマンドがあるかわかる $ aws help AWS() AWS() NAME aws - DESCRIPTION The AWS Command Line Interface is a unified tool to manage your AWS services. SYNOPSIS aws [options] <command> <subcommand> [parameters] Use aws command help for information on a sp</subcommand></command>…

awsコマンドのヘルプ

基本"コマンド help"でいけそう。 実行例 $ aws s3 help S3() S3() NAME s3 - DESCRIPTION This section explains prominent concepts and notations in the set of high-level S3 commands provided. Path Argument Type Whenever using a command, at leas…

勉強しよう

機械学習概論 講義テキスト from Etsuji Nakai www.slideshare.netいつか、これを見てやる!

ログ画像化(線表示)

コード apache_log_trans_to_image.py # -*- coding:utf-8 -*- import argparse import apache_log_trans_to_image_lib as alti parser = argparse.ArgumentParser(description='apache log to graph') parser.add_argument('log', help='log file', type=ar…

AWS利用時にやったこと

参考 https://upd.world/aws-settings/ やったこと ・ルートユーザーでMFA有効化 ・IAMユーザーでMFA有効化 ・複数スマホでのMFA有効化 ・請求アラート設定

AWS二要素認証設定

参考 Captcha MFAは必ず設定すること!

AWS IAM調査メモ

参考URL IAM とは - AWS Identity and Access Management https://upd.world/aws-settings/ メモ ・アカウント作成時のID/PASSがルートユーザー ・ルートユーザーはユーザー作成以外では基本使わないのがベストプラクティクス。 ・ユーザー、グループを作成…

AWS Cloudwatch調査メモ

参考URL Amazon CloudWatch とは - Amazon CloudWatch メモ ・AWSリソースとアプリケーションのリアルタイムモニタリング機能 ・リソースとアプリケーションに設定された変数情報を参照してモニタリングする ・ルールを定義しマッチした場合、自動的にリソー…

AWS S3調査メモ

参考URL Amazon Simple Storage Service の使用開始 - Amazon Simple Storage Service 初めてのAWS CLI 2 (S3編) - Qiita メモ S3はクラウドストレージ データをオブジェクトとして扱う オブジェクトはファイル自体とメタデータで構成 オブジェクトの入れ物…

ログ画像化(図表示)

コード apache_log_trans_to_image.py # -*- coding:utf-8 -*- import argparse import apache_log_trans_to_image_lib as alti parser = argparse.ArgumentParser(description='apache log to graph') parser.add_argument('log', help='log file', type=ar…