大変だった。。。待機が重要。 # -*- coding: utf-8 -*- from selenium import webdriver from selenium.webdriver.support.ui import Select from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_co…
パス省略(//)は複数使ってもOK? サンプルコード # -*- coding: utf-8 -*- from lxml import html a = """ <html> <head> <title>Sample</title> </head> <body> <div> <h1 class="title1">Sample #01</h1> </div> <div> <h1 class="title2">Sample #02</h1> </div> <div> <h1 class="title3">Sample #03</h1> </div> </body> </html> """ prin…
参考 クローラ作成に必須！XPATHの記法まとめ - Qiita メモ ChromeならXpath特定可能
参考 seleniumの2つの待機方法 - ストックドッグ Selenium API(逆引き) 4. 要素を見つける — Selenium Python Bindings 2 ドキュメント Selenium webdriverよく使う操作メソッドまとめ - Qiita 4. Locating Elements — Selenium Python Bindings 2 documenta…
メモ SQL書いた場合、ドリルダウンできない？ サンプルグラフにSQLで条件追加したらドリルダウン不可 円グラフはドリグダウンできる時と出来ない時の違いがわからない。 サンプルは円グラフでドリルダウン可能 自分で作った場合はNG(SQL未使用) 英語UIでない…
複数のDNSBLに問い合わせしてくれる。 ソース from pydnsbl import DNSBLChecker chk = DNSBLChecker() res = chk.check_ip('1.1.1.1') print("Result") print(res.blacklisted) print("") print("Providers") print(res.detected_by) 結果 Result True Prov…
はじめに Pythonの仕様なので、こういうものだと覚える！ 参照 Amazon CAPTCHA クラスの定義は以下の形 class クラス名: def メソッド名(self, ...): ... def メソッド名(self, ...): ... インスタンス生成 ソース class myclass: def __init__(self): pass …
divとclassについて HTMLのdiv classとは？５分でわかる事例付き解説｜Udemy メディア divはタグをグループ化するもの。 classは、その名前。 idもdivにつける名前だが、違いは以下。 classは1ページ内で同一名を複数記述可能、idは一箇所のみ。
ハイプ・サイクル ガートナー ジャパン | ハイプ・サイクル 2018年 テクノロジとアプリケーションの成熟度と採用状況、実際のビジネスにおける課題を解消する潜在的な能力、そしてテクノロジやアプリケーションが生み出す新たな機会などを提示するガートナー…
参考 Pythonでかんたんスクレイピング （JavaScript・Proxy・Cookie対応版） - QiitaRequestモジュール Developer Interface — Requests 2.21.0 documentationBeautifulSoup Beautiful Soup Documentation — Beautiful Soup 4.4.0 documentation パーサでは…
参考 Amazon CAPTCHA 昔買った本で勉強 メモ JavaScriptが扱うオブジェクトは4つあり。 ①JavaScript固有オブジェクト <html> <head> <title>Test</title> </head> <body> <script type="text/javascript"> function hoge() { this.height = 100; this.width = 200; } var myobj = new hoge(); alert(myobj.height); hoge.prototype.de</body></html>…
メモ Macの場合、CMD+Option+iキーで起動 Elementsタブの一番左のアイコンをクリックすると、ページの任意の場所でダブルクリックすると、該当ソース部分が分かる。
参考 S3のアクセスコントロールが多すぎて訳が解らないので整理してみる ｜ DevelopersIO 以下3種類あり 種類 説明 ACL バケット・オブジェクト単位で設定可能 BucketPolicy PolicyDocument利用のため、柔軟な設定が可能。オブジェクト単位不向き、バケット…
いつまでたっても覚えない。メモしよう 参考 http://www.trusnet.com/secinfo/docs/webprog1/index.html 仕組み 説明の前提条件 攻撃者のサイトのURL http://cracker/index.html index.htmlの内容 ターゲットサイト http://target/ 入力データの情報を、その…
pikesaku.hatenablog.com 上記との違いはクエリ文字列の情報もURLと同じ方法で反映した点。 赤線がURL 青線がクエリ文字列 クエリ文字列のキー文字列をハッシュ化。バリュー文字列は無視。 クエリが複数ある場合は、キー文字列をソートし&で繋げたものをハッ…
参考URL Are there any free large datasets in the format of an Apache access log? - Quora
参考 AWS SDK を使用したリクエストの実行 - Amazon Simple Storage Service →AWS SDK説明 Python | チュートリアル、API、SDK、ドキュメント | AWS 開発者センター →AWS SDK Python概要 aws-doc-sdk-examples/python/example_code at master · awsdocs/aws-…
参考 0からREST APIについて調べてみた - Qiita 今さら聞けないWebAPIの実装方式RESTとSOAPの違い - Qiita REST - SOAP とRESTの違いについてわかりやすく教えていただけませんでしょうか？｜teratail RESTとは何か、SOAPとは何か。 - 感謝のプログラミング …
ポイント ・順番に評価され、より後で評価されたもので決定。この点を考慮しinclude・exclude両方指定した方が直感的かも。 例1) --exclude "*" --include "*.txt" →txt拡張子だけがマッチ 例2) --include "*.txt" --exclude "*" →全てマッチ ・*は全てにマ…
参考 aws s3 help aws s3 機能 help aws s3 syncするシェルスクリプトでワイルドカードでexcludeしたときのメモ - Qiita →excludeが意図した通りに動かず、はまる。。。上記URLで解消・感謝！！！ 最初にやったこと ・ec2ユーザーにロール割り当て ・ec2イン…
どんなサブコマンドがあるかわかる $ aws help AWS() AWS() NAME aws - DESCRIPTION The AWS Command Line Interface is a unified tool to manage your AWS services. SYNOPSIS aws [options] <command> <subcommand> [parameters] Use aws command help for information on a sp</subcommand></command>…
基本"コマンド help"でいけそう。 実行例 $ aws s3 help S3() S3() NAME s3 - DESCRIPTION This section explains prominent concepts and notations in the set of high-level S3 commands provided. Path Argument Type Whenever using a command, at leas…
機械学習概論 講義テキスト from Etsuji Nakai www.slideshare.netいつか、これを見てやる！
コード apache_log_trans_to_image.py # -*- coding:utf-8 -*- import argparse import apache_log_trans_to_image_lib as alti parser = argparse.ArgumentParser(description='apache log to graph') parser.add_argument('log', help='log file', type=ar…
参考 https://upd.world/aws-settings/ やったこと ・ルートユーザーでMFA有効化 ・IAMユーザーでMFA有効化 ・複数スマホでのMFA有効化 ・請求アラート設定
参考 Captcha MFAは必ず設定すること！
参考URL IAM とは - AWS Identity and Access Management https://upd.world/aws-settings/ メモ ・アカウント作成時のID/PASSがルートユーザー ・ルートユーザーはユーザー作成以外では基本使わないのがベストプラクティクス。 ・ユーザー、グループを作成…
参考URL Amazon CloudWatch とは - Amazon CloudWatch メモ ・AWSリソースとアプリケーションのリアルタイムモニタリング機能 ・リソースとアプリケーションに設定された変数情報を参照してモニタリングする ・ルールを定義しマッチした場合、自動的にリソー…
参考URL Amazon Simple Storage Service の使用開始 - Amazon Simple Storage Service 初めてのAWS CLI 2 (S3編) - Qiita メモ S3はクラウドストレージ データをオブジェクトとして扱う オブジェクトはファイル自体とメタデータで構成 オブジェクトの入れ物…
コード apache_log_trans_to_image.py # -*- coding:utf-8 -*- import argparse import apache_log_trans_to_image_lib as alti parser = argparse.ArgumentParser(description='apache log to graph') parser.add_argument('log', help='log file', type=ar…
