描述
1.0 爬虫的介绍,和requests模块的简单使用

2020-12-06 5k 193 python | Hcuan

爬虫及其合法性 什么是爬虫: + 通过编写程序,**模拟**浏览器上网,让其去互联网上**抓取**数据的过程。 爬虫的合法性: + 在法律中是不被禁止的 + 具有违法风险 爬虫带来的风险体现在如下 2方面: 1. 爬虫干扰了被访问网站的正常运营 2. 爬取到了受到法律保护的特定类型的数据和信息 ...
描述
1.1 数据解析的三种方式。正则表达式, bs4, xpath

2020-12-07 2k 205 python | Hcuan

数据解析 正则 > 对爬取的数据使用 正则表达式进行过滤 bs4 > 解析实现,实例化一个 BeautifulSoup对象,并将页面源码加载到该对象中。通过调用 此对象中的相关方法,进行标签定位或 数据提取 环境安装:bs4, lxml 使用: **查找筛选** + 查找标签 soup.labelName,...
描述
2.0 多任务(进程,协程,线程)爬虫:验证码识别,返...

2020-12-11 4k 219 python | Hcuan

验证码识别 > 提取图片人工打码…… 第三方验证码识别库 + pytesseract + 百度 OCR + 超级鹰 请求中 cookie等值的存储。 > 对于请求 登录页面等,会在本地设置 cookie的链接。可以通过 `session = requests.Session()`, > 创建一个 session对象(用法...
描述
2.0.1 协程的 async/await 实现 爬...

2020-12-11 2k 205 python | Hcuan

协程的 async/await 实现 ```python import asyncio async def request(url): print('开始请求', url) print('结束请求', url) return url + ' |--over' def callback_func(task): task, 回调函数,获取返回值...
描述
3.0 基于selenium 模块的 爬虫操作。 s...

2020-12-14 4k 181 python | Hcuan

selenium 模块 什么是 selenium + 基于浏览器自动化的一个模块(简单来说就是 模拟用户操控浏览器的一套 接口) + 在爬虫中使用它,便捷的获取网站中动态加载的数据 > 使用 selenium除了安装相应包之外,还需要安装...
描述
4.0 scrapy框架的使用。 内容:介绍。数据解...

2020-12-15 6k 139 python | Hcuan

scrapy框架 提供 + 高性能的持久化存储, + 异步的数据下载 + 高性能的数据解析 + 分布式 + ...... 安装:scrapy, pywin32 使用: > 在当前目录下生成 工程目录:`scrapy startproject projectName` > 在工程目录中使用命令 新创建一个爬虫文件:`scrapy...
描述
4.1 scrapy 核心组件。图片数据爬取。中间件。...

2020-12-18 12k 171 python | Hcuan

scrapy 核心组件 + Spider(用于从特定的网页中提取自己需要的信息即所调的实体(item).用户也可以从中提取出链接让 Scrap继块抓取下一个页面) + 管道 (负责处理爬虫从网页中抽取的实体,主要的功能是持久化实体、验证实体的有效性、清除不需要的信息。当页面被爬虫解析后,将被发送到项目管道,并经过几个特定的次序处理数据。) +...
描述
python 协程的实现方式:greenlet,gev...

2020-12-20 2k 229 python | Hcuan

+ greenlet (早期:每一次都要人为的去指向下一个该执行的协程) ```python from greenlet import greenlet def func1(): print('func_1') gr2.switch() 2, 切换到 func2 print('func_1-1') gr2.switch() 4, 切换为...
描述
python异步案例代码:数据库,网络框架,爬虫.

2020-12-21 4k 289 python | Hcuan

异步操作 Redis > 在通过 python代码操作redis时,链接/操作/断开都是网络IO。需要模块 `aioredis` ```python import asyncio import aioredis async def execute(address, password): print("开始执行:", address) ...
描述
Python异步,asyncio。及其他异步方案介绍

2020-12-22 8k 157 python | Hcuan

> 异步:通过一个线程利用其IO等待事件去做一些其他事情。(用更少的资源做更多的事情) 协程(微线程) > 协程不是计算机提供的,而是程序员人为创造。(让一个线程在代码中游走的运行 实现: + greenlet (早期:每一次都要人为的去指向下一个该执行的协程) + gevent (基于...
描述
1 FastApi 是什么?

2021-02-08 4k 254 python | Hcuan

了解FastApi, 是什么 fastApi FastAPI 是一个用于构建 API 的现代、快速(高性能)的 web 框架,使用 Python 3.6+ 并基于标准的 Python 类型提示。 关键特性: + **快速**:可与 **NodeJS** 和 **Go** 比肩的极高性能(归功于 Starlette 和...
描述
2 多种类型参数的解释与验证及获取

2021-02-09 8k 171 python | Hcuan

[TOC] 接收请求参数类型的简单了解 > 一个url的组成 `protocol :// hostname[:port] / path / [;parameters][?query]fragment` 查询参数 Query ```python @app.get("/query/") async def query(item: str,...
描述
3 结语亦是开始 Dependencies(注入,依...

2021-02-11 8k 263 python | Hcuan

结语 受 社区生态,或者说官网的加载速度,想要靠官网文档系统学习,简直是噩梦。 嗯?突然想到了找镜像站。[这个还可以](https://weng.cloud/fastapi/index.html) > 下面的内容是我看文档感兴趣的部分 嗯,我又可以了。才刚刚开始呢。...
描述
4 FastApi 项目,后台任务,自动文档的设置,访问静态文件

2021-02-17 7k 455 python | Hcuan

[TOC] 项目的文件结构 [¶](https://weng.cloud/fastapi/tutorial/bigger-applications/index.html) 如果要构建应用程序或Web API,则很少将所有内容都放在一个文件中。 **FastAPI**提供了一种方便的工具,可在保持所有灵活性的同时构建应用程序。 >...
描述
5.1 远程数据库映射到本地自动生成ORM模型.

2021-02-21 8k 211 python | Hcuan

[TOC] 本示例说明 需求:在mysql数据库包含了两个表:tb_dept, tb_emp。现在需要开发接口完成对这个表的数据进行增删查改。 > 本示例结构是按照官网示例划分的,感觉还行。下面关于文件划分的关键点也会进行说明 > >...
描述
5 与数据库通信,及迁移工具Alembic的使用

2021-02-21 12k 152 python | Hcuan

[TOC] **FastAPI**可与任何数据库和任何样式的库一起使用,以与数据库进行通信。 一种常见的模式是使用 ORM:“对象关系映射”库。 > 数据库连接使用有多种映射模型(ORM.) 如 [Peewee](https://weng.cloud/fastapi/advanced/sql-databases-peewee/index.html),...
描述
问题!fastapi response_model 默...

2021-02-24 1k 76 python | Hcuan

> 问题:fastapi response_model 默认会将pydantic的别名作为字段名输出。将导致同一个ORM模型属性的多个 pydantic字段不能显示(被覆盖。 解决方法 在路由的装饰器上关闭一项默认配置 `response_model_by_alias` ```python @router.get('/me_all',...
描述
6 进阶者使用指南

2021-02-24 9k 141 python | Hcuan

[TOC] 自定义响应-HTML,流,文件等 [¶](https://fastapi.tiangolo.com/zh/advanced/custom-response/)...
描述
7 进阶者使用指南,索引!更多

2021-02-28 1k 148 python | Hcuan

对于一些很感兴趣,但是又不会经常使用的一些特性及功能。直接搬运全部太占篇幅。搬运一部分而又不完全,还不如去看官网。所以就简单介绍下并贴上链接。 + 事件(生命周期,程序启动时和结束时)的处理程序(函数)。[¶](https://weng.cloud/fastapi/advanced/events/index.html) + 代理(nginx,......
描述
8 fastapi项目部署的几种方式

2021-03-01 8k 1368 python | Hcuan

[TOC] fastapi项目部署的几种方式 准备 将要使用的**FastAPI**版本“固定”到特定的最新版本,该特定版本是您的应用程序正在使用的版本。 ```shell fastapi==0.45.0 版本固定在 0.45 ``` 当然,一般用pip命令导出的 **requirements.txt**都是固定版本的 ```shell...
描述
01 什么是数据分析,工具及环境该如何选择?

2021-05-04 2k 122 python | Hcuan

[TOC] 什么是数据分析 数据分析是指用适当的统计分析方法对收集来的大量数据进行分析,提取有用信思和形成结论而对数据加以详细研完和概括总结的过程。 数据分析的目的有多种,概括起来有三种:平状分析、原因分析、预测 测分析。 + 现状分析简单来说就是告诉你过去发生了什么。 + 原因分析简单来说就是告诉你某一现状为什么 发生。 +...

2020-11 By Hchuan.

flask & bootstrap-flask

© 2021 HChuan. All rights reserved.

随机占位图来自:fghrsh

互联网ICP备案号:蜀ICP备2020031846号