【Python】Webスクレイピング_proxy認証を突破する
処理概要 Seleniumでproxy接続時の認証ダイアログを突破する 事前準備 proxy認証に必要なマニフェストファイルを生成するコードを作成し配置しておく このファイルをスクレイピング実行時に外部モジュールとしてインポートして利用する ...
【Google Workspace】プライマリドメイン変更作業の実施記録
プライマリドメイン変更作業を実施しました 2023年3月、プライマリドメインの変更作業を実施しました。WEB上で得られる情報がまだ多くはないため、何かの役に立てればと思い公開しています。 一部、ドメイン名等は架空のものに置き換えています。 ...
【Python】日付操作のサンプル集
日付操作のサンプル集 今日の日付を表示する 今日の日付をyyyymmdd形式で表示する strftime() は日付、時間を文字列へ変換する関数 from datetime import datetime today = datetime. ...
【Python】YouTubeのコメント情報をテキストファイルに書き出す
処理概要 YouTubeのコメント情報をテキストファイルに書き出す 処理内容 対象のURLを開く 可能な限りページをスクロールする コメント情報を取得する Good評価が1つ以上あればコメントを取得する 取得したGood数とコメントをテキス ...
【Python】Webスクレイピング_Chromeの起動
処理概要 SeleniumとChromeDriverでブラウザ（Chrome）を操作する ChromeDriverはブラウザに適合するバージョンが自動で適用されるので事前ダウンロード不要 事前準備 必要なモジュールをpipでインストールする ...
【Vagrant】ローカルにLinux環境をつくる
ローカルにLinuxの仮想環境をつくる 処理概要 Vagrantを使ってローカルにLinux環境をつくる OS：CentOS7 Macで作業する場合は事前に Homebrew をインストールしておく VirtualBoxのインストール Wi ...
【PostgreSQL】PowerShellからDBに接続する【PowerShell】
PowerShellからPostgreSQLのDBに接続する 処理内容 PowerShellからPostgreSQLに接続する スクリプトに記載したSQLを実行する 実行結果を外部ファイルに出力する 対象テーブル名 test_table（サ ...
【TreasureData】郵便番号データをインポートするワークフロー
処理概要 日本郵政で公開している郵便番号のCSVファイルをS3からTreasureDataにインポートする 処理内容 CSVファイルを一時テーブルにインポートする 一時テーブルに対してSQLを実行する SQL実行結果を目的のテーブルに格納す ...
【TreasureData】CSVファイルをS3からインポートするワークフロー
処理概要 S3に配置したCSVファイルをTreasureDataにインポートする 処理内容 CSVファイルを一時テーブルにインポートする 一時テーブルに対してSQLを実行する SQL実行結果を目的のテーブルに格納する 一時テーブルを削除する ...
【Python】スタバの店舗情報をテキストファイルに書き出す
処理概要 スターバックスの店舗情報をテキストファイルに書き出す 処理内容 スターバックスのWebサイトを開く 各都道府県を選択する 検索結果に表示される店舗情報を取得する 取得した情報をテキストファイルに出力する 対象URL スターバックス ...