تگ / virtualenv
-
![]()
آشنایی با Pipenv، فایل های pipfile و pipfile.lock چی هستند؟
زمان مطالعه: 2 دقیقه با سلام و درود، مفهوم پشت Pipenv خیلی ساده است، چیزی شبیه به Npmدر Node و Bundler در Ruby ، Pipenv هر جفت پکیج و ابزار مدیریت محیط مجازی را در بر…
-
شروع به کار با Django
زمان مطالعه: 3 دقیقه با سلام، مدتی پیش کلیپ های آموزشی جادی را با زبان پایتون و استفاده از Django روی پروژه ای با نام بستون رو دیدم. خب قصد جادی همون طور که خودش میگه…
-
![Python Virtual Environmenr]()
آشنایی و استفاده از Virtual environment
زمان مطالعه: 4 دقیقه با سلام، امروز میخوام در مورد virtualenv در پایتون (Python) بنویسم. ۱- virtual env چیست؟ یه virtual environment ابزاری جهت نگهداری وابستگی های مورد نیاز توسط پروژه های مختلف د رمکان های…
پرسش و پاسخ تصادفی
با سلام، هنگام برخورد با ارور فوق، به احتمال قوی سایتی که Scrapy را روی آن اجرا می کنید، جلوی فعالیت شما را گرفته است. به قولی شما را بَن کرده است. خزنده شما تلاش می کند robots.txt را بخواند، اما سایت مورد نظر اجازه نمی دهد 🙂
اول از همه وارد Settings.py شوید و مطمین شوید مقدار ROBOTSTXT_OBEY برابر با False باشد (در نسخه های جدید از Scrapy این مقدار به صورت پیشفرض True است)
اگر با تغییر فوق، باز هم مشکل داشتید، بهتر است userAgent خود را تغییر دهید، برای نمونه از UserAgent زیر در فایل Settings.pyاستفاده کنید. اگر مشکل حل شد که یا باشد دنبال یه پروکسی باشید که هر دفعه IP شما را عوض بکنه یا هر دفعه UserAgent متفاوت بسازید (در این مورد داخل بلاگ حتما یه پست خواهم گذاشت ، از بالای صفحه اصلی و قسمت جستجو با عبارت scrapy یه سرچی بکنید تا ببینید الان که این مطبی رو میخوانید مطلب مربوط به پروکسی را گذاشتم یا خیر)
USER_AGENT=’Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36′
